laptop_mac macOS Sonoma
Intermediate
schedule 8 min read
by Alex Rivera • May 14, 2024
Si detestas lidiar con la terminal, los entornos de Python y las dependencias rotas, LM Studio es tu santuario. Envuelve llama.cpp dentro de una magnífica aplicación nativa de Windows que te permite descargar y chatear con LLMs en un solo clic.
Step 1 Introducción
LM Studio es una aplicación de escritorio gratuita para Windows. Proporciona una interfaz limpia, similar a ChatGPT, pero que se ejecuta 100% de forma local en tu hardware. Gestiona la descarga de modelos, la configuración de parámetros e incluso el levantamiento de un servidor API local sin tocar una sola línea de código.
Step 2 ¿Por qué LM Studio?
- Explorador Visual de Modelos: Busca y descarga modelos de HuggingFace directamente dentro de la aplicación.
- Detección Automática de Hardware: Configura automáticamente la aceleración por GPU mediante CUDA (NVIDIA) o ROCm (AMD).
- Estimador de RAM: Te indica exactamente cuánta VRAM consumirá un modelo antes de que lo descargues.
Step 3 Instalación
- Ve a lmstudio.ai.
- Haz clic en Download for Windows.
- Abre el archivo
.exe para instalarlo.
Step 4 Habilitando la Aceleración por GPU
Para obtener la máxima velocidad, debemos asegurarnos de que utilice tu tarjeta gráfica NVIDIA o AMD en lugar del CPU, que es más lento.
- Abre LM Studio.
- Ve a la pestaña Settings (ícono de engranaje).
- Desplázate hacia abajo hasta Hardware Settings.
- Marca la casilla GPU Offload y maximiza el control deslizante hasta
99 capas.
Step 5 Descarga de Modelos
- Haz clic en el ícono de Lupa (Search) en la barra lateral izquierda.
- Escribe el nombre de un modelo, como
Mistral 7B Instruct o Llama 3 8B.
- Examina los resultados. LM Studio resalta en verde los modelos que caben en la memoria de tu PC.
- Elige una cuantización
Q4_K_M o Q5_K_M (el mejor equilibrio entre velocidad e inteligencia).
- Haz clic en Download.
Step 6 Servidor API Local
LM Studio puede actuar como un reemplazo directo de la API de OpenAI.
- Haz clic en el ícono Local Server (
<->) en la barra lateral izquierda.
- Selecciona tu modelo descargado en el menú desplegable superior.
- Haz clic en Start Server.
Tu IA local ahora está escuchando en http://localhost:1234/v1. ¡Puedes conectar esta URL a extensiones de VS Code, scripts de Python o cualquier aplicación que espere un endpoint de OpenAI!