laptop_mac macOS Sonoma
Intermediate
schedule 8 min read
by Alex Rivera • May 14, 2024
यदि आप टर्मिनल, Python environments और टूटी हुई dependencies से निपटना पसंद नहीं करते, तो LM Studio आपका अभयारण्य है। यह llama.cpp को एक शानदार, native Windows app के अंदर लपेटता है जो आपको एक क्लिक में LLMs को डाउनलोड करने और उनसे बातचीत करने देता है।
Step 1 परिचय
LM Studio Windows के लिए एक निःशुल्क desktop application है। यह एक स्वच्छ, ChatGPT-जैसा इंटरफ़ेस प्रदान करता है, लेकिन आपके hardware पर 100% locally चलता है। यह कोड की एक भी पंक्ति छुए बिना models को डाउनलोड करना, settings को configure करना, और यहाँ तक कि एक local API server को भी संचालित करता है।
Step 2 LM Studio क्यों?
- Visual Model Browser: App के अंदर ही HuggingFace models को खोजें और डाउनलोड करें।
- Hardware Auto-Detect: यह स्वचालित रूप से CUDA (NVIDIA) या ROCm (AMD) GPU acceleration को configure करता है।
- RAM Estimator: यह आपको डाउनलोड करने से पहले ही बताता है कि एक model कितना VRAM उपयोग करेगा।
Step 3 स्थापना (Installation)
- lmstudio.ai पर जाएँ।
- Download for Windows पर क्लिक करें।
- इसे install करने के लिए
.exe फ़ाइल खोलें।
Step 4 GPU Acceleration सक्षम करना
अधिकतम गति प्राप्त करने के लिए, हमें यह सुनिश्चित करना होगा कि यह धीमे CPU के बजाय आपके NVIDIA या AMD graphics card का उपयोग करे।
- LM Studio खोलें।
- Settings टैब (gear icon) पर जाएँ।
- Hardware Settings तक नीचे स्क्रॉल करें।
- GPU Offload के लिए बॉक्स को चेक करें और slider को
99 layers तक अधिकतम करें।
Step 5 Models डाउनलोड करना
- बाईं sidebar में Magnifying Glass (Search) icon पर क्लिक करें।
- कोई model नाम टाइप करें जैसे
Mistral 7B Instruct या Llama 3 8B।
- परिणाम देखें। LM Studio उन models को हरे रंग में highlight करता है जो आपके PC की memory में fit होते हैं।
Q4_K_M या Q5_K_M quantization चुनें (गति और बुद्धिमत्ता का सर्वोत्तम संतुलन)।- Download पर क्लिक करें।
Step 6 Local API Server
LM Studio, OpenAI API के एक drop-in replacement के रूप में कार्य कर सकता है।
- बाईं sidebar में Local Server icon (
<->) पर क्लिक करें।
- शीर्ष dropdown से अपना डाउनलोड किया हुआ model चुनें।
- Start Server पर क्लिक करें।
आपका local AI अब http://localhost:1234/v1 पर सुन रहा है। आप इस URL को VS Code extensions, Python scripts, या किसी भी ऐसे app में plug कर सकते हैं जो OpenAI endpoint की अपेक्षा रखता हो!