laptop_mac macOS Sonoma
Intermediate
schedule 8 min read
by Alex Rivera • May 14, 2024
Se você odeia lidar com o terminal, ambientes Python e dependências quebradas, o LM Studio é o seu santuário. Ele encapsula o llama.cpp dentro de um lindo aplicativo nativo para Windows que permite baixar e conversar com LLMs em um único clique.
Step 1 Introdução
O LM Studio é um aplicativo de desktop gratuito para Windows. Ele oferece uma interface limpa, semelhante ao ChatGPT, mas roda 100% localmente no seu hardware. Ele gerencia o download de modelos, a configuração de ajustes e até mesmo a inicialização de um servidor de API local sem tocar em uma única linha de código.
Step 2 Por que o LM Studio?
- Navegador Visual de Modelos: Pesquise e baixe modelos do HuggingFace diretamente dentro do aplicativo.
- Detecção Automática de Hardware: Ele configura automaticamente a aceleração por GPU CUDA (NVIDIA) ou ROCm (AMD).
- Estimador de RAM: Ele informa exatamente quanta VRAM um modelo utilizará antes de você baixá-lo.
Step 3 Instalação
- Acesse lmstudio.ai.
- Clique em Download for Windows.
- Abra o arquivo
.exe para instalá-lo.
Step 4 Habilitando a Aceleração por GPU
Para obter a velocidade máxima, precisamos garantir que o aplicativo utilize sua placa de vídeo NVIDIA ou AMD em vez da CPU, que é mais lenta.
- Abra o LM Studio.
- Vá até a aba Settings (ícone de engrenagem).
- Role para baixo até Hardware Settings.
- Marque a caixa GPU Offload e maximize o controle deslizante para
99 camadas.
Step 5 Baixando Modelos
- Clique no ícone de Lupa (Search) na barra lateral esquerda.
- Digite o nome de um modelo como
Mistral 7B Instruct ou Llama 3 8B.
- Observe os resultados. O LM Studio destaca em verde os modelos que cabem na memória do seu PC.
- Escolha uma quantização
Q4_K_M ou Q5_K_M (melhor equilíbrio entre velocidade e inteligência).
- Clique em Download.
Step 6 Servidor de API Local
O LM Studio pode funcionar como um substituto direto para a API da OpenAI.
- Clique no ícone Local Server (
<->) na barra lateral esquerda.
- Selecione o modelo baixado no menu suspenso superior.
- Clique em Start Server.
Sua IA local está agora escutando em http://localhost:1234/v1. Você pode inserir essa URL em extensões do VS Code, scripts Python ou qualquer aplicativo que utilize um endpoint da OpenAI!