laptop_mac macOS Sonoma
Intermediate
schedule 8 min read
by Alex Rivera • May 14, 2024
ターミナル操作、Python環境、依存関係の破損に悩まされることに辟易しているなら、LM Studioはまさに理想の避難所です。llama.cppを洗練されたネイティブMacアプリとして内包し、ワンクリックでLLMのダウンロードとチャットを実現します。
Step 1 はじめに
LM Studioは、Mac向けの無料デスクトップアプリケーションです。ChatGPTに似たクリーンなインターフェースを提供しながら、100%ローカルのハードウェア上で動作します。モデルのダウンロード、設定の構成、さらにはローカルAPIサーバーの起動まで、一行のコードも記述することなく実現します。
Step 2 なぜLM Studioなのか？
- ビジュアルモデルブラウザ： アプリ内から直接HuggingFaceのモデルを検索・ダウンロード可能。
- ハードウェア自動検出： M1/M2/M3チップ向けのApple Metal GPUアクセラレーションを自動的に構成。
- RAM使用量推定機能： ダウンロード前に、モデルが使用するRAM容量を正確に提示。
Step 3 インストール
- lmstudio.ai にアクセスする。
- Download for Mac（Apple Silicon）をクリックする。
.dmg ファイルを開き、LM StudioをApplicationsフォルダにドラッグする。
最大速度を引き出すためには、低速なCPUではなくMacのGPUを使用するよう設定する必要があります。
- LM Studioを起動する。
- Settingsタブ（歯車アイコン）に移動する。
- Hardware Settingsまでスクロールダウンする。
- Apple Metalのチェックボックスが有効になっていることを確認する。
Step 5 モデルのダウンロード
- 左サイドバーの虫眼鏡（検索）アイコンをクリックする。
Mistral 7B Instruct や Llama 3 8B などのモデル名を入力する。- 検索結果を確認する。LM Studioは、MacのUnified Memoryに収まるモデルを緑色でハイライト表示する。
Q4_K_M または Q5_K_M の量子化方式を選択する（速度と精度の最適なバランス）。- Downloadをクリックする。
Step 6 ローカルAPIサーバー
LM StudioはOpenAI APIの代替として、ドロップイン方式で機能します。
- 左サイドバーのローカルサーバーアイコン（
<->）をクリックする。
- 上部のドロップダウンからダウンロード済みのモデルを選択する。
- Start Serverをクリックする。
ローカルAIが http://localhost:1234/v1 でリクエストを待ち受ける状態になりました。このURLをVS Codeの拡張機能、Pythonスクリプト、またはOpenAIエンドポイントを必要とする任意のアプリケーションに設定するだけで、すぐに活用できます。