laptop_mac macOS Sonoma
Intermediate
schedule 8 min read
by Alex Rivera • May 14, 2024
터미널, Python 환경, 그리고 망가진 의존성 문제를 다루는 것이 싫다면, LM Studio가 당신의 안식처입니다. llama.cpp를 아름다운 네이티브 Mac 앱으로 감싸, 한 번의 클릭으로 LLM을 다운로드하고 대화할 수 있게 해줍니다.
Step 1 소개
LM Studio는 Mac용 무료 데스크톱 애플리케이션입니다. ChatGPT와 유사한 깔끔한 인터페이스를 제공하지만, 당신의 하드웨어에서 100% 로컬로 실행됩니다. 단 한 줄의 코드도 건드리지 않고 모델 다운로드, 설정 구성, 심지어 로컬 API 서버 구동까지 처리해줍니다.
Step 2 LM Studio를 선택하는 이유
- 시각적 모델 브라우저: 앱 내에서 직접 HuggingFace 모델을 검색하고 다운로드할 수 있습니다.
- 하드웨어 자동 감지: M1/M2/M3 칩에 맞게 Apple Metal GPU 가속을 자동으로 구성합니다.
- RAM 추정기: 모델을 다운로드하기 전에 얼마나 많은 RAM이 필요한지 정확히 알려줍니다.
Step 3 설치
- lmstudio.ai로 이동합니다.
- Download for Mac (Apple Silicon)을 클릭합니다.
.dmg 파일을 열고 LM Studio를 응용 프로그램 폴더로 드래그합니다.
최대 속도를 얻으려면, 느린 CPU 대신 Mac의 GPU를 사용하도록 설정해야 합니다.
- LM Studio를 엽니다.
- Settings 탭(기어 아이콘)으로 이동합니다.
- Hardware Settings까지 스크롤을 내립니다.
- Apple Metal 체크박스가 활성화되어 있는지 확인합니다.
Step 5 모델 다운로드
- 왼쪽 사이드바에서 돋보기 (검색) 아이콘을 클릭합니다.
Mistral 7B Instruct 또는 Llama 3 8B와 같은 모델 이름을 입력합니다.- 검색 결과를 확인합니다. LM Studio는 Mac의 통합 메모리에 맞는 모델을 녹색으로 강조 표시합니다.
Q4_K_M 또는 Q5_K_M 양자화를 선택합니다(속도와 성능의 최적 균형).- Download를 클릭합니다.
Step 6 로컬 API 서버
LM Studio는 OpenAI API의 드롭인 대체제로 사용할 수 있습니다.
- 왼쪽 사이드바에서 Local Server 아이콘(
<->)을 클릭합니다.
- 상단 드롭다운에서 다운로드한 모델을 선택합니다.
- Start Server를 클릭합니다.
이제 로컬 AI가 http://localhost:1234/v1에서 수신 대기 중입니다. 이 URL을 VS Code 확장, Python 스크립트, 또는 OpenAI 엔드포인트를 필요로 하는 모든 앱에 연결할 수 있습니다!