Linux (Ubuntu/Debian) पर LM Studio सेटअप करें

laptop_mac macOS Sonoma Intermediate schedule 8 min read

by Alex Rivera • May 14, 2024

टर्मिनल से जूझना नहीं चाहते? LM Studio एक native Linux AppImage प्रदान करता है जो आपको models डाउनलोड करने, GPU layers को fine-tune करने, और LLMs के साथ chat करने के लिए एक सुंदर GUI देता है।

Step 1 परिचय (Introduction)

LM Studio, अंतर्निहित llama.cpp engine को एक sleek Electron-based user interface में wrap करता है। यह Linux पर GGUF models को खोजना, डाउनलोड करना और configure करना अविश्वसनीय रूप से सरल बना देता है।

Step 2 पूर्वापेक्षाएँ (Prerequisites)

Linux के लिए LM Studio एक AppImage के रूप में वितरित किया जाता है। इसे सही ढंग से चलाने के लिए, आपके सिस्टम पर FUSE (Filesystem in Userspace) लाइब्रेरी स्थापित होनी चाहिए।

Ubuntu 22.04 और बाद के संस्करणों पर, यह कमांड चलाएँ:

sudo apt update
sudo apt install libfuse2

यह भी सुनिश्चित करें कि आपके NVIDIA drivers स्थापित और कार्यशील हैं (nvidia-smi)।

Step 3 स्थापना (Installation)

1. अपना browser खोलें और lmstudio.ai पर जाएँ।
2. .AppImage फ़ाइल प्राप्त करने के लिए Download for Linux पर क्लिक करें।
3. अपना terminal खोलें और Downloads फ़ोल्डर में जाएँ:

cd ~/Downloads

4. AppImage को executable बनाएँ:

chmod +x LM_Studio-*.AppImage

5. एप्लिकेशन चलाएँ:

./LM_Studio-*.AppImage

(सुझाव: आप इसे अपने desktop application menu में स्वचालित रूप से integrate करने के लिए AppImageLauncher जैसे tool का उपयोग कर सकते हैं)।

Step 4 GPU Acceleration सक्षम करना

अधिकतम गति प्राप्त करने के लिए, सुनिश्चित करें कि LM Studio आपके NVIDIA GPU को detect करे।

1. LM Studio खोलें।
2. Settings tab पर जाएँ (बाईं sidebar में gear icon)।
3. नीचे स्क्रॉल करके Hardware Settings तक पहुँचें।
4. GPU Offload के लिए checkbox को चेक करें और slider को अधिकतम 99 layers तक बढ़ाएँ।

Step 5 Models डाउनलोड करना

1. बाईं sidebar में Magnifying Glass (Search) icon पर क्लिक करें।
2. Mistral 7B या Llama 3 8B जैसे models खोजें।
3. LM Studio कई quantization विकल्प प्रदर्शित करेगा। गति और बुद्धिमत्ता के सर्वोत्तम संतुलन के लिए Q4_K_M या Q5_K_M चुनें।
4. Download पर क्लिक करें।

Step 6 Local API Server

LM Studio एक local API host कर सकता है जो OpenAI के API format की पूरी तरह नकल करता है।

1. बाईं sidebar में Local Server icon (<->) पर क्लिक करें।
2. dropdown से अपना डाउनलोड किया हुआ model चुनें।
3. Start Server पर क्लिक करें।

आपकी Linux machine अब http://localhost:1234/v1 पर एक API host कर रही है। आप VS Code extensions (जैसे Continue.dev) या custom Python scripts को सीधे इस endpoint की ओर point कर सकते हैं।

Continue Reading

Performance

Mistral 7B vs Llama 3 on Apple Silicon

Tools

Best GUI clients for Local LLMs

Advanced

Quantization 101: Speed up your Inference