laptop_mac macOS Sonoma
Intermediate
schedule 8 min read
by Alex Rivera • May 14, 2024
Se você odeia lidar com o terminal, ambientes Python e dependências quebradas, o LM Studio é o seu santuário. Ele envolve o llama.cpp dentro de um lindo aplicativo nativo para Mac que permite baixar e conversar com LLMs com um único clique.
Step 1 Introdução
O LM Studio é um aplicativo desktop gratuito para Mac. Ele oferece uma interface limpa, semelhante ao ChatGPT, mas que funciona 100% localmente no seu hardware. Ele cuida do download de modelos, da configuração de ajustes e até mesmo da inicialização de um servidor de API local sem tocar em uma única linha de código.
Step 2 Por que o LM Studio?
- Navegador Visual de Modelos: Pesquise e baixe modelos do HuggingFace diretamente no aplicativo.
- Detecção Automática de Hardware: Ele configura automaticamente a aceleração GPU Apple Metal para chips M1/M2/M3.
- Estimador de RAM: Ele informa exatamente quanta RAM um modelo utilizará antes de você baixá-lo.
Step 3 Instalação
- Acesse lmstudio.ai.
- Clique em Download for Mac (Apple Silicon).
- Abra o arquivo
.dmg e arraste o LM Studio para a sua pasta Aplicativos.
Para obter velocidade máxima, precisamos garantir que ele utilize a GPU do seu Mac em vez da CPU, que é mais lenta.
- Abra o LM Studio.
- Vá até a aba Settings (ícone de engrenagem).
- Role para baixo até Hardware Settings.
- Certifique-se de que a caixa de seleção Apple Metal está ativada.
Step 5 Baixando Modelos
- Clique no ícone de Lupa (Search) na barra lateral esquerda.
- Digite o nome de um modelo como
Mistral 7B Instruct ou Llama 3 8B.
- Observe os resultados. O LM Studio destaca em verde os modelos que cabem na Memória Unificada do seu Mac.
- Escolha uma quantização
Q4_K_M ou Q5_K_M (melhor equilíbrio entre velocidade e inteligência).
- Clique em Download.
Step 6 Servidor de API Local
O LM Studio pode funcionar como um substituto direto para a API da OpenAI.
- Clique no ícone Local Server (
<->) na barra lateral esquerda.
- Selecione o modelo baixado no menu suspenso superior.
- Clique em Start Server.
Sua IA local agora está escutando em http://localhost:1234/v1. Você pode inserir esta URL em extensões do VS Code, scripts Python ou qualquer aplicativo que utilize um endpoint da OpenAI!