laptop_mac macOS Sonoma
Intermediate
schedule 8 min read
by Alex Rivera • May 14, 2024
Si vous détestez vous battre avec le terminal, les environnements Python et les dépendances cassées, LM Studio est votre sanctuaire. Il encapsule llama.cpp dans une magnifique application Windows native qui vous permet de télécharger des LLM et de discuter avec eux en un seul clic.
Introduction
LM Studio est une application de bureau gratuite pour Windows. Elle fournit une interface épurée, similaire à ChatGPT, mais s'exécute à 100% localement sur votre matériel. Elle gère le téléchargement des modèles, la configuration des paramètres, et même le lancement d'un serveur API local, sans toucher à une seule ligne de code.
Step 1 Pourquoi LM Studio ?
- Navigateur de Modèles Visuel : Recherchez et téléchargez des modèles HuggingFace directement dans l'application.
- Détection Automatique du Matériel : Il configure automatiquement l'accélération GPU CUDA (NVIDIA) ou ROCm (AMD).
- Estimateur de RAM : Il vous indique exactement la quantité de VRAM qu'un modèle utilisera avant que vous ne le téléchargiez.
Step 2 Installation
- Rendez-vous sur lmstudio.ai.
- Cliquez sur Download for Windows.
- Ouvrez le fichier
.exe pour l'installer.
Step 3 Activation de l'Accélération GPU
Pour obtenir une vitesse maximale, nous devons nous assurer qu'il utilise votre carte graphique NVIDIA ou AMD plutôt que le CPU, plus lent.
- Ouvrez LM Studio.
- Accédez à l'onglet Settings (icône d'engrenage).
- Faites défiler jusqu'à Hardware Settings.
- Cochez la case GPU Offload et maximisez le curseur à
99 couches.
Step 4 Téléchargement des Modèles
- Cliquez sur l'icône Magnifying Glass (Recherche) dans la barre latérale gauche.
- Saisissez le nom d'un modèle comme
Mistral 7B Instruct ou Llama 3 8B.
- Examinez les résultats. LM Studio met en évidence en vert les modèles compatibles avec la mémoire de votre PC.
- Choisissez une quantification
Q4_K_M ou Q5_K_M (meilleur équilibre entre vitesse et intelligence).
- Cliquez sur Download.
Step 5 Serveur API Local
LM Studio peut faire office de remplacement direct de l'API OpenAI.
- Cliquez sur l'icône Local Server (
<->) dans la barre latérale gauche.
- Sélectionnez votre modèle téléchargé dans le menu déroulant supérieur.
- Cliquez sur Start Server.
Votre IA locale est désormais à l'écoute sur http://localhost:1234/v1. Vous pouvez brancher cette URL dans des extensions VS Code, des scripts Python, ou toute application attendant un point de terminaison OpenAI !