laptop_mac macOS Sonoma
Intermediate
schedule 8 min read
by Alex Rivera • May 14, 2024
Vous ne souhaitez pas vous battre avec le terminal ? LM Studio propose un AppImage natif pour Linux qui vous offre une interface graphique élégante pour télécharger des modèles, ajuster les couches GPU et dialoguer avec des LLMs.
Introduction
LM Studio encapsule le moteur sous-jacent llama.cpp dans une interface utilisateur élégante basée sur Electron. Il rend la recherche, le téléchargement et la configuration de modèles GGUF sur Linux remarquablement simple.
Step 1 Prérequis
LM Studio pour Linux est distribué sous forme d'AppImage. Pour qu'il fonctionne correctement, vous devez avoir la bibliothèque FUSE (Filesystem in Userspace) installée.
Sur Ubuntu 22.04 et versions ultérieures, exécutez :
Terminal
sudo apt update
sudo apt install libfuse2
Assurez-vous également que vos pilotes NVIDIA sont installés et opérationnels (nvidia-smi).
Step 2 Installation
- Ouvrez votre navigateur et accédez à lmstudio.ai.
- Cliquez sur Download for Linux pour obtenir le fichier
.AppImage.
- Ouvrez votre terminal et naviguez vers votre dossier Téléchargements :
- Rendez l'AppImage exécutable :
Terminal
chmod +x LM_Studio-*.AppImage
- Lancez l'application :
(Conseil : Vous pouvez utiliser un outil tel que AppImageLauncher pour l'intégrer automatiquement dans le menu des applications de votre environnement de bureau).
Step 3 Activation de l'accélération GPU
Pour obtenir des performances maximales, assurez-vous que LM Studio détecte correctement votre GPU NVIDIA.
- Ouvrez LM Studio.
- Accédez à l'onglet Settings (icône d'engrenage dans la barre latérale gauche).
- Faites défiler jusqu'à Hardware Settings.
- Cochez la case GPU Offload et maximisez le curseur à
99 couches.
Step 4 Téléchargement de modèles
- Cliquez sur l'icône Loupe (Search) dans la barre latérale gauche.
- Recherchez des modèles tels que
Mistral 7B ou Llama 3 8B.
- LM Studio affichera plusieurs options de quantification. Choisissez
Q4_K_M ou Q5_K_M pour le meilleur équilibre entre vitesse et intelligence.
- Cliquez sur Download.
Step 5 Serveur API local
LM Studio peut héberger une API locale qui reproduit fidèlement le format d'API d'OpenAI.
- Cliquez sur l'icône Local Server (
<->) dans la barre latérale gauche.
- Sélectionnez votre modèle téléchargé dans le menu déroulant.
- Cliquez sur Start Server.
Votre machine Linux héberge désormais une API accessible à l'adresse http://localhost:1234/v1. Vous pouvez y diriger des extensions VS Code (telles que Continue.dev) ou des scripts Python personnalisés directement vers cet endpoint.