laptop_mac macOS Sonoma
Intermediate
schedule 8 min read
by Alex Rivera • May 14, 2024
Non vuoi avere a che fare con il terminale? LM Studio offre un AppImage nativo per Linux che ti fornisce una bellissima interfaccia grafica per scaricare modelli, regolare i layer GPU e chattare con i LLM.
Step 1 Introduzione
LM Studio racchiude il motore llama.cpp sottostante in un'elegante interfaccia utente basata su Electron. Rende estremamente semplice trovare, scaricare e configurare modelli GGUF su Linux.
Step 2 Prerequisiti
LM Studio per Linux è distribuito come AppImage. Affinché funzioni correttamente, è necessario avere installata la libreria FUSE (Filesystem in Userspace).
Su Ubuntu 22.04 e versioni successive, esegui:
Terminal
sudo apt update
sudo apt install libfuse2
Assicurati che anche i driver NVIDIA siano installati e funzionanti (nvidia-smi).
Step 3 Installazione
- Apri il browser e vai su lmstudio.ai.
- Clicca su Download for Linux per ottenere il file
.AppImage.
- Apri il terminale e naviga nella cartella Download:
- Rendi l'AppImage eseguibile:
Terminal
chmod +x LM_Studio-*.AppImage
- Avvia l'applicazione:
(Suggerimento: puoi usare uno strumento come AppImageLauncher per integrarlo automaticamente nel menu delle applicazioni del desktop).
Step 4 Abilitare l'Accelerazione GPU
Per ottenere la massima velocità, assicurati che LM Studio rilevi la tua GPU NVIDIA.
- Apri LM Studio.
- Vai alla scheda Settings (icona a forma di ingranaggio nella barra laterale sinistra).
- Scorri fino a Hardware Settings.
- Spunta la casella GPU Offload e porta il cursore al massimo, fino a
99 layer.
Step 5 Scaricare i Modelli
- Clicca sull'icona della Lente di Ingrandimento (Cerca) nella barra laterale sinistra.
- Cerca modelli come
Mistral 7B o Llama 3 8B.
- LM Studio mostrerà diverse opzioni di quantizzazione. Scegli
Q4_K_M o Q5_K_M per il miglior equilibrio tra velocità e intelligenza.
- Clicca su Download.
Step 6 Server API Locale
LM Studio può ospitare un'API locale che imita perfettamente il formato API di OpenAI.
- Clicca sull'icona Local Server (
<->) nella barra laterale sinistra.
- Seleziona il modello scaricato dal menu a tendina.
- Clicca su Start Server.
La tua macchina Linux sta ora servendo un'API all'indirizzo http://localhost:1234/v1. Puoi indirizzare le estensioni di VS Code (come Continue.dev) o script Python personalizzati direttamente a questo endpoint.