laptop_mac macOS Sonoma
Intermediate
schedule 8 min read
by Alex Rivera • May 14, 2024
ターミナル操作、Python環境、壊れた依存関係に悩まされることが嫌いなら、LM Studioはあなたの聖域です。llama.cpp を美しいネイティブWindowsアプリ内にラップし、ワンクリックでLLMのダウンロードとチャットを可能にします。
Step 1 はじめに
LM Studioは、Windows向けの無償デスクトップアプリケーションです。ChatGPTに似たクリーンなインターフェースを提供しながら、100%ローカルのハードウェア上で動作します。モデルのダウンロード、設定の構成、さらにはローカルAPIサーバーの起動まで、コードを一行も書かずに処理できます。
Step 2 なぜLM Studioなのか？
- ビジュアルモデルブラウザ: アプリ内から直接HuggingFaceのモデルを検索・ダウンロード可能。
- ハードウェア自動検出: CUDA（NVIDIA）またはROCm（AMD）のGPUアクセラレーションを自動的に設定。
- RAM使用量推定機能: ダウンロード前に、モデルが消費するVRAM量を正確に表示。
Step 3 インストール
- lmstudio.ai にアクセスする。
- Download for Windows をクリックする。
.exe ファイルを開いてインストールする。
Step 4 GPUアクセラレーションの有効化
最大速度を得るために、低速なCPUではなくNVIDIAまたはAMDのグラフィックカードを使用するよう設定する必要があります。
- LM Studioを開く。
- Settings タブ（歯車アイコン）に移動する。
- Hardware Settings までスクロールダウンする。
- GPU Offload のチェックボックスを有効にし、スライダーを
99 レイヤーまで最大化する。
Step 5 モデルのダウンロード
- 左サイドバーの虫眼鏡（検索）アイコンをクリックする。
Mistral 7B Instruct や Llama 3 8B などのモデル名を入力する。- 検索結果を確認する。LM Studioは、PCのメモリに収まるモデルを緑色でハイライト表示する。
Q4_K_M または Q5_K_M の量子化を選択する（速度と精度の最適なバランス）。- Download をクリックする。
Step 6 ローカルAPIサーバー
LM StudioはOpenAI APIのドロップイン代替として機能します。
- 左サイドバーのLocal Serverアイコン（
<->）をクリックする。
- 上部のドロップダウンからダウンロード済みのモデルを選択する。
- Start Server をクリックする。
これでローカルAIが http://localhost:1234/v1 上でリクエストを待ち受けます。このURLをVS Code拡張機能、Pythonスクリプト、またはOpenAIエンドポイントに対応した任意のアプリに接続できます！