laptop_mac macOS Sonoma
Intermediate
schedule 8 min read
by Alex Rivera • May 14, 2024
Wenn Sie es hassen, sich mit dem Terminal, Python-Umgebungen und fehlerhaften Abhängigkeiten herumzuschlagen, ist LM Studio Ihr sicherer Hafen. Es kapselt llama.cpp in einer eleganten, nativen Windows-Applikation, die es Ihnen ermöglicht, LLMs mit einem einzigen Klick herunterzuladen und mit ihnen zu interagieren.
Step 1 Einführung
LM Studio ist eine kostenlose Desktop-Applikation für Windows. Sie bietet eine saubere, ChatGPT-ähnliche Oberfläche, läuft jedoch zu 100 % lokal auf Ihrer Hardware. Sie übernimmt das Herunterladen von Modellen, die Konfiguration von Einstellungen und sogar das Starten eines lokalen API-Servers – ohne eine einzige Zeile Code anzufassen.
Step 2 Warum LM Studio?
- Visueller Modell-Browser: Suchen und laden Sie HuggingFace-Modelle direkt innerhalb der Applikation herunter.
- Automatische Hardware-Erkennung: Die Applikation konfiguriert automatisch die CUDA- (NVIDIA) oder ROCm- (AMD) GPU-Beschleunigung.
- RAM-Schätzer: Sie erfahren genau, wie viel VRAM ein Modell benötigt, bevor Sie es herunterladen.
Step 3 Installation
- Besuchen Sie lmstudio.ai.
- Klicken Sie auf Download for Windows.
- Öffnen Sie die
.exe-Datei, um die Installation durchzuführen.
Step 4 GPU-Beschleunigung aktivieren
Um maximale Geschwindigkeit zu erzielen, muss sichergestellt werden, dass die Applikation Ihre NVIDIA- oder AMD-Grafikkarte anstelle der langsameren CPU verwendet.
- Öffnen Sie LM Studio.
- Navigieren Sie zum Tab Settings (Zahnrad-Symbol).
- Scrollen Sie nach unten zu Hardware Settings.
- Aktivieren Sie das Kontrollkästchen für GPU Offload und setzen Sie den Schieberegler auf den Maximalwert von
99 Layern.
Step 5 Modelle herunterladen
- Klicken Sie auf das Symbol Magnifying Glass (Suche) in der linken Seitenleiste.
- Geben Sie einen Modellnamen ein, beispielsweise
Mistral 7B Instruct oder Llama 3 8B.
- Betrachten Sie die Ergebnisse. LM Studio hebt Modelle, die in den Arbeitsspeicher Ihres PCs passen, grün hervor.
- Wählen Sie eine
Q4_K_M- oder Q5_K_M-Quantisierung (optimales Gleichgewicht zwischen Geschwindigkeit und Intelligenz).
- Klicken Sie auf Download.
Step 6 Lokaler API-Server
LM Studio kann als vollwertiger Ersatz für die OpenAI-API fungieren.
- Klicken Sie auf das Symbol Local Server (
<->) in der linken Seitenleiste.
- Wählen Sie Ihr heruntergeladenes Modell aus dem oberen Dropdown-Menü aus.
- Klicken Sie auf Start Server.
Ihre lokale KI lauscht nun unter http://localhost:1234/v1. Sie können diese URL in VS Code-Erweiterungen, Python-Skripte oder jede beliebige Applikation einbinden, die einen OpenAI-kompatiblen Endpunkt erwartet!