laptop_mac macOS Sonoma
Intermediate
schedule 8 min read
by Alex Rivera • May 14, 2024
Se odi avere a che fare con il terminale, gli ambienti Python e le dipendenze rotte, LM Studio è il tuo santuario. Racchiude llama.cpp all'interno di una splendida app nativa per Windows che ti permette di scaricare e chattare con gli LLM in un solo clic.
Step 1 Introduzione
LM Studio è un'applicazione desktop gratuita per Windows. Offre un'interfaccia pulita, simile a ChatGPT, ma funziona al 100% in locale sul tuo hardware. Gestisce il download dei modelli, la configurazione delle impostazioni e persino l'avvio di un server API locale senza toccare una singola riga di codice.
Step 2 Perché LM Studio?
- Browser visivo dei modelli: Cerca e scarica modelli da HuggingFace direttamente all'interno dell'app.
- Rilevamento automatico dell'hardware: Configura automaticamente l'accelerazione GPU CUDA (NVIDIA) o ROCm (AMD).
- Stimatore della RAM: Ti indica esattamente quanta VRAM utilizzerà un modello prima di scaricarlo.
Step 3 Installazione
- Vai su lmstudio.ai.
- Clicca su Scarica per Windows.
- Apri il file
.exe per installarlo.
Step 4 Abilitare l'accelerazione GPU
Per ottenere la massima velocità, dobbiamo assicurarci che utilizzi la tua scheda grafica NVIDIA o AMD invece della CPU, più lenta.
- Apri LM Studio.
- Vai alla scheda Impostazioni (icona a ingranaggio).
- Scorri verso il basso fino a Impostazioni hardware.
- Spunta la casella GPU Offload e porta il cursore al massimo a
99 livelli.
Step 5 Scaricare i modelli
- Clicca sull'icona della Lente di ingrandimento (Cerca) nella barra laterale sinistra.
- Digita il nome di un modello come
Mistral 7B Instruct o Llama 3 8B.
- Osserva i risultati. LM Studio evidenzia in verde i modelli che rientrano nella memoria del tuo PC.
- Scegli una quantizzazione
Q4_K_M o Q5_K_M (il miglior equilibrio tra velocità e intelligenza).
- Clicca su Scarica.
Step 6 Server API locale
LM Studio può fungere da sostituto diretto delle API di OpenAI.
- Clicca sull'icona Server locale (
<->) nella barra laterale sinistra.
- Seleziona il modello scaricato dal menu a tendina in alto.
- Clicca su Avvia server.
La tua IA locale è ora in ascolto su http://localhost:1234/v1. Puoi inserire questo URL nelle estensioni di VS Code, negli script Python o in qualsiasi app che si aspetta un endpoint OpenAI!