laptop_mac macOS Sonoma
Intermediate
schedule 8 min read
by Alex Rivera • May 14, 2024
¿Prefiere evitar la terminal? LM Studio ofrece una AppImage nativa para Linux que proporciona una interfaz gráfica elegante para descargar modelos, ajustar capas de GPU y conversar con LLMs.
Step 1 Introducción
LM Studio envuelve el motor subyacente llama.cpp en una interfaz de usuario basada en Electron. Hace que encontrar, descargar y configurar modelos GGUF en Linux sea increíblemente sencillo.
Step 2 Requisitos Previos
LM Studio para Linux se distribuye como un AppImage. Para que funcione correctamente, debe tener instalada la biblioteca FUSE (Filesystem in Userspace).
En Ubuntu 22.04 y versiones posteriores, ejecute:
Terminal
sudo apt update
sudo apt install libfuse2
Asegúrese también de que sus controladores NVIDIA estén instalados y funcionando (nvidia-smi).
Step 3 Instalación
- Abra su navegador y diríjase a lmstudio.ai.
- Haga clic en Download for Linux para obtener el archivo
.AppImage.
- Abra su terminal y navegue hasta su carpeta de Descargas:
- Otorgue permisos de ejecución al AppImage:
Terminal
chmod +x LM_Studio-*.AppImage
- Ejecute la aplicación:
(Consejo: Puede utilizar una herramienta como AppImageLauncher para integrarlo automáticamente en el menú de aplicaciones de su escritorio).
Step 4 Habilitación de la Aceleración por GPU
Para obtener la máxima velocidad, asegúrese de que LM Studio detecte su GPU NVIDIA.
- Abra LM Studio.
- Diríjase a la pestaña Settings (ícono de engranaje en la barra lateral izquierda).
- Desplácese hacia abajo hasta Hardware Settings.
- Active la casilla GPU Offload y maximice el control deslizante hasta
99 capas.
Step 5 Descarga de Modelos
- Haga clic en el ícono de Lupa (Search) en la barra lateral izquierda.
- Busque modelos como
Mistral 7B o Llama 3 8B.
- LM Studio mostrará múltiples opciones de cuantización. Elija
Q4_K_M o Q5_K_M para el mejor equilibrio entre velocidad e inteligencia.
- Haga clic en Download.
Step 6 Servidor de API Local
LM Studio puede alojar una API local que emula perfectamente el formato de la API de OpenAI.
- Haga clic en el ícono de Local Server (
<->) en la barra lateral izquierda.
- Seleccione el modelo descargado desde el menú desplegable.
- Haga clic en Start Server.
Su máquina Linux ahora está alojando una API en http://localhost:1234/v1. Puede apuntar extensiones de VS Code (como Continue.dev) o scripts personalizados de Python directamente a este endpoint.