Home chevron_right Linux
LINUX GUIDES

Local AI for
Linux.

Linux gives you maximum control and performance for local AI. Pick your preferred inference engine and get up and running fast.

macOS Windows

Step 1 · Pick Your Tool

START HERE: Choose Your Engine

The best ways to run AI locally on Linux.

terminal
CLI · Open Source

Ollama

The fastest, easiest way to get up and running via command line.
grid_view
GUI · Easy

LM Studio

Beautiful graphical interface with a built-in model browser.
speed
Pro · Max Speed

llama.cpp

Maximum performance and full control for advanced users.

All Linux Tutorials

LINUX 7 MIN READ

Linux에서 Ollama 실행하기: 완벽 가이드

Ubuntu/Debian에서 Ollama를 백그라운드 systemd 서비스로 배포하세요. NVIDIA CUDA 및 AMD ROCm을 위한 전체 설정 방법을 안내합니다.

Read Guide arrow_forward
LINUX 6 MIN READ

Linux(Ubuntu/Debian)에 LM Studio 설치하기

Linux에 LM Studio AppImage를 설치하여 로컬 AI 모델을 위한 멋진 그래픽 인터페이스를 사용해 보세요.

Read Guide arrow_forward
LINUX 15 MIN READ

Linux에서 로컬 Llama 3 실행하기

llama.cpp와 완전한 CUDA 지원을 사용하여 Linux에서 Meta의 Llama 3 모델을 로컬로 배포합니다. 이 가이드는 컴파일, 양자화 및 명령줄에서 모델을 실행하는 방법을 다룹니다.

Read Guide arrow_forward
LINUX 12 MIN READ

Ubuntu에서 vLLM을 활용한 고처리량 서빙

엔터프라이즈급 성능을 위해 Linux에서 vLLM을 배포하여 PagedAttention과 최대 토큰 처리량으로 모델을 서빙하세요.

Read Guide arrow_forward