Mac पर LM Studio: सबसे आसान ऑफलाइन AI इंटरफेस

laptop_mac macOS Sonoma Intermediate schedule 8 min read

by Alex Rivera • May 14, 2024

यदि आप टर्मिनल, Python environments, और टूटी हुई dependencies से निपटने से नफरत करते हैं, तो LM Studio आपका अभयारण्य है। यह llama.cpp को एक शानदार, native Mac app के अंदर wrap करता है जो आपको एक क्लिक में LLMs को डाउनलोड करने और उनसे chat करने की सुविधा देता है।

Step 1 परिचय

LM Studio Mac के लिए एक निःशुल्क desktop application है। यह एक स्वच्छ, ChatGPT-जैसा interface प्रदान करता है, लेकिन आपके hardware पर 100% locally चलता है। यह कोड की एक भी line लिखे बिना models को डाउनलोड करने, settings को configure करने, और यहाँ तक कि एक local API server को spin up करने का कार्य संभालता है।

Step 2 LM Studio क्यों?

Visual Model Browser: App के अंदर से सीधे HuggingFace models को खोजें और डाउनलोड करें।
Hardware Auto-Detect: यह M1/M2/M3 chips के लिए Apple Metal GPU acceleration को स्वचालित रूप से configure करता है।
RAM Estimator: यह आपको बताता है कि एक model कितना RAM उपयोग करेगा — डाउनलोड करने से पहले ही।

Step 3 इंस्टॉलेशन

lmstudio.ai पर जाएं।
Download for Mac (Apple Silicon) पर क्लिक करें।
.dmg फ़ाइल खोलें और LM Studio को अपने Applications folder में drag करें।

Step 4 Metal GPU को सक्षम करना

अधिकतम गति प्राप्त करने के लिए, हमें यह सुनिश्चित करना होगा कि यह धीमे CPU के बजाय आपके Mac के GPU का उपयोग करे।

LM Studio खोलें।
Settings tab (gear icon) पर जाएं।
Hardware Settings तक नीचे scroll करें।
सुनिश्चित करें कि Apple Metal checkbox सक्षम है।

Step 5 Models डाउनलोड करना

बाएं sidebar में Magnifying Glass (Search) icon पर क्लिक करें।
कोई model नाम टाइप करें जैसे Mistral 7B Instruct या Llama 3 8B।
परिणामों को देखें। LM Studio उन models को हरे रंग में highlight करता है जो आपके Mac की Unified Memory में fit होते हैं।
Q4_K_M या Q5_K_M quantization चुनें (गति और बुद्धिमत्ता का सर्वोत्तम संतुलन)।
Download पर क्लिक करें।

Step 6 Local API Server

LM Studio OpenAI API के drop-in replacement के रूप में कार्य कर सकता है।

बाएं sidebar में Local Server icon (<->) पर क्लिक करें।
शीर्ष dropdown से अपना डाउनलोड किया हुआ model चुनें।
Start Server पर क्लिक करें।

आपका local AI अब http://localhost:1234/v1 पर listen कर रहा है। आप इस URL को VS Code extensions, Python scripts, या किसी भी ऐसे app में plug कर सकते हैं जो एक OpenAI endpoint की अपेक्षा रखता है!