LinuxにLM Studioをセットアップする（Ubuntu/Debian）

laptop_mac macOS Sonoma Intermediate schedule 8 min read

by Alex Rivera • May 14, 2024

ターミナルの操作が煩わしいと感じますか？LM Studio はネイティブの Linux 用 AppImage を提供しており、モデルのダウンロード、GPU レイヤーの調整、LLM とのチャットを美しい GUI で行うことができます。

Step 1 はじめに

LM Studio は、基盤となる llama.cpp エンジンを洗練された Electron ベースのユーザーインターフェースでラップしています。Linux 上で GGUF モデルを検索、ダウンロード、設定する作業を驚くほどシンプルにしてくれます。

Step 2 前提条件

Linux 向けの LM Studio は AppImage 形式で配布されています。正常に動作させるには、FUSE（Filesystem in Userspace）ライブラリがインストールされている必要があります。

Ubuntu 22.04 以降の場合は、以下を実行してください：

sudo apt update
sudo apt install libfuse2

また、NVIDIA ドライバーがインストールされ、正常に動作していることも確認してください（nvidia-smi）。

Step 3 インストール

1. ブラウザを開き、lmstudio.ai にアクセスします。
2. Download for Linux をクリックして .AppImage ファイルを取得します。
3. ターミナルを開き、ダウンロードフォルダに移動します：

cd ~/Downloads

4. AppImage に実行権限を付与します：

chmod +x LM_Studio-*.AppImage

5. アプリケーションを起動します：

./LM_Studio-*.AppImage

（ヒント：AppImageLauncher のようなツールを使用すると、デスクトップのアプリケーションメニューへの統合を自動化できます）。

Step 4 GPU アクセラレーションの有効化

最大速度を引き出すために、LM Studio が NVIDIA GPU を正しく認識していることを確認します。

1. LM Studio を開きます。
2. 左サイドバーのギアアイコンから Settings タブに移動します。
3. Hardware Settings までスクロールします。
4. GPU Offload のチェックボックスを有効にし、スライダーを最大値の 99 レイヤーに設定します。

Step 5 モデルのダウンロード

1. 左サイドバーの虫眼鏡（検索）アイコンをクリックします。
2. Mistral 7B や Llama 3 8B などのモデルを検索します。
3. LM Studio は複数の量子化オプションを表示します。速度と精度のバランスが最も優れた Q4_K_M または Q5_K_M を選択してください。
4. Download をクリックします。

Step 6 ローカル API サーバー

LM Studio は、OpenAI の API フォーマットを完全に模倣したローカル API をホストすることができます。

1. 左サイドバーのローカルサーバーアイコン（<->）をクリックします。
2. ドロップダウンからダウンロード済みのモデルを選択します。
3. Start Server をクリックします。

これにより、Linux マシンが http://localhost:1234/v1 で API をホストするようになります。VS Code の拡張機能（Continue.dev など）やカスタム Python スクリプトをこのエンドポイントに直接向けることができます。

Continue Reading

Performance

Mistral 7B vs Llama 3 on Apple Silicon

Tools

Best GUI clients for Local LLMs

Advanced

Quantization 101: Speed up your Inference