laptop_mac macOS Sonoma
Intermediate
schedule 8 min read
by Alex Rivera • May 14, 2024
Se odi avere a che fare con il terminale, gli ambienti Python e le dipendenze rotte, LM Studio è il tuo santuario. Racchiude llama.cpp all'interno di una splendida app Mac nativa che ti permette di scaricare e chattare con i modelli LLM in un solo clic.
Step 1 Introduzione
LM Studio è un'applicazione desktop gratuita per Mac. Offre un'interfaccia pulita, simile a ChatGPT, ma funziona al 100% in locale sul tuo hardware. Gestisce il download dei modelli, la configurazione delle impostazioni e persino l'avvio di un server API locale senza toccare una singola riga di codice.
Step 2 Perché LM Studio?
- Browser visuale dei modelli: Cerca e scarica modelli da HuggingFace direttamente all'interno dell'app.
- Rilevamento automatico dell'hardware: Configura automaticamente l'accelerazione GPU Apple Metal per i chip M1/M2/M3.
- Stimatore RAM: Ti indica esattamente quanta RAM utilizzerà un modello prima di scaricarlo.
Step 3 Installazione
- Vai su lmstudio.ai.
- Clicca su Download for Mac (Apple Silicon).
- Apri il file
.dmg e trascina LM Studio nella cartella Applicazioni.
Per ottenere la massima velocità, dobbiamo assicurarci che utilizzi la GPU del tuo Mac invece della CPU, più lenta.
- Apri LM Studio.
- Vai alla scheda Settings (icona a forma di ingranaggio).
- Scorri verso il basso fino a Hardware Settings.
- Assicurati che la casella Apple Metal sia abilitata.
Step 5 Scaricare i modelli
- Clicca sull'icona della Lente di ingrandimento (Cerca) nella barra laterale sinistra.
- Digita il nome di un modello come
Mistral 7B Instruct o Llama 3 8B.
- Osserva i risultati. LM Studio evidenzia in verde i modelli che rientrano nella memoria unificata del tuo Mac.
- Scegli una quantizzazione
Q4_K_M o Q5_K_M (il miglior compromesso tra velocità e intelligenza).
- Clicca su Download.
Step 6 Server API locale
LM Studio può fungere da sostituto diretto per le API di OpenAI.
- Clicca sull'icona Local Server (
<->) nella barra laterale sinistra.
- Seleziona il modello scaricato dal menu a tendina in alto.
- Clicca su Start Server.
La tua IA locale è ora in ascolto su http://localhost:1234/v1. Puoi collegare questo URL alle estensioni di VS Code, agli script Python o a qualsiasi app che si aspetti un endpoint OpenAI!