Linux(Ubuntu/Debian)에 LM Studio 설치하기

laptop_mac macOS Sonoma Intermediate schedule 8 min read

by Alex Rivera • May 14, 2024

터미널을 다루고 싶지 않으신가요? LM Studio는 네이티브 Linux AppImage를 제공하여 모델 다운로드, GPU 레이어 조정, LLM과의 대화를 위한 아름다운 GUI를 제공합니다.

Step 1 소개

LM Studio는 기반 llama.cpp 엔진을 세련된 Electron 기반 사용자 인터페이스로 감싸고 있습니다. Linux에서 GGUF 모델을 찾고, 다운로드하고, 구성하는 것을 매우 간단하게 만들어 줍니다.

Step 2 사전 요구 사항

Linux용 LM Studio는 AppImage 형태로 배포됩니다. 올바르게 실행되려면 FUSE (Filesystem in Userspace) 라이브러리가 설치되어 있어야 합니다.

Ubuntu 22.04 이상에서는 다음을 실행하세요:

sudo apt update
sudo apt install libfuse2

NVIDIA 드라이버도 설치되어 정상적으로 작동하는지 확인하세요 (nvidia-smi).

Step 3 설치

1. 브라우저를 열고 lmstudio.ai로 이동합니다.
2. Download for Linux를 클릭하여 .AppImage 파일을 받습니다.
3. 터미널을 열고 다운로드 폴더로 이동합니다:

cd ~/Downloads

4. AppImage를 실행 가능하게 만듭니다:

chmod +x LM_Studio-*.AppImage

5. 애플리케이션을 실행합니다:

./LM_Studio-*.AppImage

(팁: AppImageLauncher와 같은 도구를 사용하면 데스크톱 애플리케이션 메뉴에 자동으로 통합할 수 있습니다).

Step 4 GPU 가속 활성화

최대 속도를 얻으려면 LM Studio가 NVIDIA GPU를 감지하는지 확인하세요.

1. LM Studio를 엽니다.
2. Settings 탭(왼쪽 사이드바의 기어 아이콘)으로 이동합니다.
3. Hardware Settings까지 스크롤을 내립니다.
4. GPU Offload 체크박스를 선택하고 슬라이더를 99 레이어로 최대화합니다.

Step 5 모델 다운로드

1. 왼쪽 사이드바에서 돋보기 (검색) 아이콘을 클릭합니다.
2. Mistral 7B 또는 Llama 3 8B와 같은 모델을 검색합니다.
3. LM Studio는 여러 양자화 옵션을 표시합니다. 속도와 성능의 최적 균형을 위해 Q4_K_M 또는 Q5_K_M을 선택하세요.
4. Download를 클릭합니다.

Step 6 로컬 API 서버

LM Studio는 OpenAI의 API 형식을 완벽하게 모방하는 로컬 API를 호스팅할 수 있습니다.

1. 왼쪽 사이드바에서 Local Server 아이콘 (<->)을 클릭합니다.
2. 드롭다운에서 다운로드한 모델을 선택합니다.
3. Start Server를 클릭합니다.

이제 Linux 머신이 http://localhost:1234/v1에서 API를 호스팅합니다. VS Code 확장 프로그램(예: Continue.dev)이나 커스텀 Python 스크립트를 이 엔드포인트로 직접 연결할 수 있습니다.

Continue Reading

Performance

Mistral 7B vs Llama 3 on Apple Silicon

Tools

Best GUI clients for Local LLMs

Advanced

Quantization 101: Speed up your Inference