laptop_mac macOS Sonoma
Intermediate
schedule 8 min read
by Alex Rivera • May 14, 2024
Sie möchten sich nicht mit dem Terminal befassen? LM Studio bietet ein natives Linux-AppImage, das Ihnen eine elegante GUI zum Herunterladen von Modellen, Anpassen von GPU-Layern und zur Interaktion mit LLMs bietet.
Step 1 Einführung
LM Studio kapselt die zugrunde liegende llama.cpp-Engine in einer eleganten, Electron-basierten Benutzeroberfläche. Es macht das Finden, Herunterladen und Konfigurieren von GGUF-Modellen unter Linux außerordentlich einfach.
Step 2 Voraussetzungen
LM Studio für Linux wird als AppImage bereitgestellt. Damit es korrekt ausgeführt werden kann, muss die FUSE-Bibliothek (Filesystem in Userspace) installiert sein.
Führen Sie unter Ubuntu 22.04 und späteren Versionen folgenden Befehl aus:
Terminal
sudo apt update
sudo apt install libfuse2
Stellen Sie außerdem sicher, dass Ihre NVIDIA-Treiber installiert und funktionsfähig sind (nvidia-smi).
Step 3 Installation
- Öffnen Sie Ihren Browser und navigieren Sie zu lmstudio.ai.
- Klicken Sie auf Download for Linux, um die
.AppImage-Datei herunterzuladen.
- Öffnen Sie Ihr Terminal und navigieren Sie in Ihren Downloads-Ordner:
- Machen Sie das AppImage ausführbar:
Terminal
chmod +x LM_Studio-*.AppImage
- Starten Sie die Anwendung:
(Tipp: Sie können ein Werkzeug wie AppImageLauncher verwenden, um die Anwendung automatisch in Ihr Desktop-Anwendungsmenü zu integrieren).
Step 4 GPU-Beschleunigung aktivieren
Um maximale Geschwindigkeit zu erzielen, stellen Sie sicher, dass LM Studio Ihre NVIDIA-GPU erkennt.
- Öffnen Sie LM Studio.
- Navigieren Sie zum Settings-Tab (Zahnrad-Symbol in der linken Seitenleiste).
- Scrollen Sie nach unten zu Hardware Settings.
- Aktivieren Sie das Kontrollkästchen für GPU Offload und setzen Sie den Regler auf maximal
99 Layer.
Step 5 Modelle herunterladen
- Klicken Sie auf das Lupen-Symbol (Search) in der linken Seitenleiste.
- Suchen Sie nach Modellen wie
Mistral 7B oder Llama 3 8B.
- LM Studio zeigt mehrere Quantisierungsoptionen an. Wählen Sie
Q4_K_M oder Q5_K_M für die optimale Balance zwischen Geschwindigkeit und Intelligenz.
- Klicken Sie auf Download.
Step 6 Lokaler API-Server
LM Studio kann einen lokalen API-Server hosten, der das API-Format von OpenAI präzise nachbildet.
- Klicken Sie auf das Local Server-Symbol (
<->) in der linken Seitenleiste.
- Wählen Sie Ihr heruntergeladenes Modell aus dem Dropdown-Menü aus.
- Klicken Sie auf Start Server.
Ihr Linux-Rechner hostet nun eine API unter http://localhost:1234/v1. Sie können VS-Code-Erweiterungen (wie Continue.dev) oder benutzerdefinierte Python-Skripte direkt auf diesen Endpunkt verweisen.