laptop_mac macOS Sonoma
Intermediate
schedule 8 min read
by Alex Rivera • May 14, 2024
Si odias lidiar con la terminal, los entornos de Python y las dependencias rotas, LM Studio es tu santuario. Envuelve llama.cpp dentro de una magnífica aplicación nativa para Mac que te permite descargar y chatear con LLMs con un solo clic.
Step 1 Introducción
LM Studio es una aplicación de escritorio gratuita para Mac. Proporciona una interfaz limpia, similar a ChatGPT, pero que se ejecuta 100% de forma local en tu hardware. Se encarga de descargar modelos, configurar ajustes e incluso levantar un servidor API local sin tocar una sola línea de código.
Step 2 ¿Por qué LM Studio?
- Explorador Visual de Modelos: Busca y descarga modelos de HuggingFace directamente dentro de la aplicación.
- Detección Automática de Hardware: Configura automáticamente la aceleración GPU mediante Apple Metal para los chips M1/M2/M3.
- Estimador de RAM: Te indica exactamente cuánta RAM utilizará un modelo antes de que lo descargues.
Step 3 Instalación
- Ve a lmstudio.ai.
- Haz clic en Download for Mac (Apple Silicon).
- Abre el archivo
.dmg y arrastra LM Studio a tu carpeta de Aplicaciones.
Para obtener la máxima velocidad, debemos asegurarnos de que utilice la GPU de tu Mac en lugar de la CPU, que es más lenta.
- Abre LM Studio.
- Ve a la pestaña Settings (ícono de engranaje).
- Desplázate hacia abajo hasta Hardware Settings.
- Asegúrate de que la casilla Apple Metal esté habilitada.
Step 5 Descarga de Modelos
- Haz clic en el ícono de Lupa (Search) en la barra lateral izquierda.
- Escribe el nombre de un modelo como
Mistral 7B Instruct o Llama 3 8B.
- Observa los resultados. LM Studio resalta en verde los modelos que caben en la Memoria Unificada de tu Mac.
- Elige una cuantización
Q4_K_M o Q5_K_M (el mejor equilibrio entre velocidad e inteligencia).
- Haz clic en Download.
Step 6 Servidor API Local
LM Studio puede actuar como un reemplazo directo de la API de OpenAI.
- Haz clic en el ícono de Servidor Local (
<->) en la barra lateral izquierda.
- Selecciona tu modelo descargado desde el menú desplegable superior.
- Haz clic en Start Server.
Tu IA local está ahora escuchando en http://localhost:1234/v1. ¡Puedes conectar esta URL a extensiones de VS Code, scripts de Python o cualquier aplicación que espere un endpoint de OpenAI!