laptop_mac macOS Sonoma
Intermediate
schedule 8 min read
by Alex Rivera • May 14, 2024
터미널, Python 환경, 그리고 깨진 의존성 문제가 싫다면, LM Studio가 당신의 안식처입니다. llama.cpp를 아름다운 네이티브 Windows 앱으로 감싸, 클릭 한 번으로 LLM을 다운로드하고 대화할 수 있게 해줍니다.
Step 1 소개
LM Studio는 Windows용 무료 데스크톱 애플리케이션입니다. ChatGPT와 유사한 깔끔한 인터페이스를 제공하지만, 당신의 하드웨어에서 100% 로컬로 실행됩니다. 단 한 줄의 코드도 건드리지 않고 모델 다운로드, 설정 구성, 심지어 로컬 API 서버 구동까지 처리합니다.
Step 2 LM Studio를 선택하는 이유
- 시각적 모델 브라우저: 앱 내에서 직접 HuggingFace 모델을 검색하고 다운로드할 수 있습니다.
- 하드웨어 자동 감지: CUDA (NVIDIA) 또는 ROCm (AMD) GPU 가속을 자동으로 구성합니다.
- RAM 추정기: 모델을 다운로드하기 전에 얼마나 많은 VRAM을 사용할지 정확히 알려줍니다.
Step 3 설치
- lmstudio.ai로 이동합니다.
- Download for Windows를 클릭합니다.
.exe 파일을 열어 설치합니다.
Step 4 GPU 가속 활성화
최대 속도를 얻으려면, 느린 CPU 대신 NVIDIA 또는 AMD 그래픽 카드를 사용하도록 설정해야 합니다.
- LM Studio를 엽니다.
- Settings 탭(기어 아이콘)으로 이동합니다.
- Hardware Settings까지 스크롤을 내립니다.
- GPU Offload 체크박스를 선택하고 슬라이더를
99 레이어로 최대화합니다.
Step 5 모델 다운로드
- 왼쪽 사이드바에서 돋보기(검색) 아이콘을 클릭합니다.
Mistral 7B Instruct 또는 Llama 3 8B와 같은 모델 이름을 입력합니다.- 검색 결과를 확인합니다. LM Studio는 PC 메모리에 맞는 모델을 녹색으로 강조 표시합니다.
Q4_K_M 또는 Q5_K_M 양자화를 선택합니다(속도와 성능의 최적 균형).- Download를 클릭합니다.
Step 6 로컬 API 서버
LM Studio는 OpenAI API의 드롭인 대체제로 사용할 수 있습니다.
- 왼쪽 사이드바에서 Local Server 아이콘(
<->)을 클릭합니다.
- 상단 드롭다운에서 다운로드한 모델을 선택합니다.
- Start Server를 클릭합니다.
이제 로컬 AI가 http://localhost:1234/v1에서 수신 대기 중입니다. 이 URL을 VS Code 확장 프로그램, Python 스크립트, 또는 OpenAI 엔드포인트를 필요로 하는 모든 앱에 연결할 수 있습니다!