laptop_mac macOS Sonoma
Intermediate
schedule 8 min read
by Alex Rivera • May 14, 2024
Não quer lidar com o terminal? O LM Studio fornece um AppImage nativo para Linux que oferece uma bela interface gráfica para baixar modelos, ajustar camadas de GPU e conversar com LLMs.
Step 1 Introdução
O LM Studio envolve o motor llama.cpp subjacente em uma interface de usuário elegante baseada em Electron. Ele torna incrivelmente simples encontrar, baixar e configurar modelos GGUF no Linux.
Step 2 Pré-requisitos
O LM Studio para Linux é distribuído como um AppImage. Para que ele funcione corretamente, você deve ter a biblioteca FUSE (Filesystem in Userspace) instalada.
No Ubuntu 22.04 e versões posteriores, execute:
Terminal
sudo apt update
sudo apt install libfuse2
Certifique-se de que seus drivers NVIDIA também estejam instalados e funcionando (nvidia-smi).
Step 3 Instalação
- Abra seu navegador e acesse lmstudio.ai.
- Clique em Download for Linux para obter o arquivo
.AppImage.
- Abra seu terminal e navegue até a pasta de Downloads:
- Torne o AppImage executável:
Terminal
chmod +x LM_Studio-*.AppImage
- Execute o aplicativo:
(Dica: Você pode usar uma ferramenta como o AppImageLauncher para integrá-lo automaticamente ao menu de aplicativos da sua área de trabalho).
Step 4 Habilitando a Aceleração por GPU
Para obter velocidade máxima, certifique-se de que o LM Studio detecte sua GPU NVIDIA.
- Abra o LM Studio.
- Vá para a aba Settings (ícone de engrenagem na barra lateral esquerda).
- Role para baixo até Hardware Settings.
- Marque a caixa para GPU Offload e maximize o controle deslizante para
99 camadas.
Step 5 Baixando Modelos
- Clique no ícone de Lupa (Busca) na barra lateral esquerda.
- Pesquise por modelos como
Mistral 7B ou Llama 3 8B.
- O LM Studio exibirá múltiplas opções de quantização. Escolha
Q4_K_M ou Q5_K_M para o melhor equilíbrio entre velocidade e inteligência.
- Clique em Download.
Step 6 Servidor de API Local
O LM Studio pode hospedar uma API local que imita perfeitamente o formato de API da OpenAI.
- Clique no ícone Local Server (
<->) na barra lateral esquerda.
- Selecione seu modelo baixado no menu suspenso.
- Clique em Start Server.
Sua máquina Linux agora está hospedando uma API em http://localhost:1234/v1. Você pode apontar extensões do VS Code (como o Continue.dev) ou scripts Python personalizados diretamente para este endpoint.