laptop_mac macOS Sonoma
Intermediate
schedule 8 min read
by Alex Rivera • May 14, 2024
Wenn Sie es hassen, mit dem Terminal, Python-Umgebungen und kaputten Abhängigkeiten zu kämpfen, ist LM Studio Ihr sicherer Hafen. Es kapselt llama.cpp in einer eleganten, nativen Mac-App, die es Ihnen ermöglicht, LLMs mit einem einzigen Klick herunterzuladen und damit zu interagieren.
Step 1 Einführung
LM Studio ist eine kostenlose Desktop-Anwendung für Mac. Sie bietet eine übersichtliche, ChatGPT-ähnliche Oberfläche, läuft jedoch zu 100 % lokal auf Ihrer Hardware. Sie übernimmt das Herunterladen von Modellen, die Konfiguration von Einstellungen und sogar das Starten eines lokalen API-Servers – ohne eine einzige Zeile Code anfassen zu müssen.
Step 2 Warum LM Studio?
- Visueller Modell-Browser: Suchen und laden Sie HuggingFace-Modelle direkt in der App herunter.
- Automatische Hardware-Erkennung: Die App konfiguriert automatisch die Apple Metal GPU-Beschleunigung für M1/M2/M3-Chips.
- RAM-Schätzer: Die App zeigt Ihnen genau an, wie viel RAM ein Modell verbrauchen wird, bevor Sie es herunterladen.
Step 3 Installation
- Rufen Sie lmstudio.ai auf.
- Klicken Sie auf Download for Mac (Apple Silicon).
- Öffnen Sie die
.dmg-Datei und ziehen Sie LM Studio in Ihren Applications-Ordner.
Um maximale Geschwindigkeit zu erzielen, müssen wir sicherstellen, dass die App die GPU Ihres Macs anstelle der langsameren CPU verwendet.
- Öffnen Sie LM Studio.
- Navigieren Sie zum Tab Settings (Zahnrad-Symbol).
- Scrollen Sie nach unten zu Hardware Settings.
- Stellen Sie sicher, dass das Kontrollkästchen Apple Metal aktiviert ist.
Step 5 Modelle herunterladen
- Klicken Sie auf das Lupen-Symbol (Search) in der linken Seitenleiste.
- Geben Sie einen Modellnamen ein, z. B.
Mistral 7B Instruct oder Llama 3 8B.
- Betrachten Sie die Ergebnisse. LM Studio hebt Modelle, die in den Unified Memory Ihres Macs passen, grün hervor.
- Wählen Sie eine
Q4_K_M- oder Q5_K_M-Quantisierung (bestes Gleichgewicht zwischen Geschwindigkeit und Intelligenz).
- Klicken Sie auf Download.
Step 6 Lokaler API-Server
LM Studio kann als direkter Ersatz für die OpenAI API fungieren.
- Klicken Sie auf das Local Server-Symbol (
<->) in der linken Seitenleiste.
- Wählen Sie Ihr heruntergeladenes Modell aus dem oberen Dropdown-Menü aus.
- Klicken Sie auf Start Server.
Ihr lokales KI-Modell lauscht nun auf http://localhost:1234/v1. Sie können diese URL in VS Code-Erweiterungen, Python-Skripte oder jede beliebige Anwendung einbinden, die einen OpenAI-Endpunkt erwartet!