Home chevron_right Linux
LINUX GUIDES

Local AI for
Linux.

Linux gives you maximum control and performance for local AI. Pick your preferred inference engine and get up and running fast.

macOS Windows

Step 1 · Pick Your Tool

START HERE: Choose Your Engine

The best ways to run AI locally on Linux.

terminal
CLI · Open Source

Ollama

The fastest, easiest way to get up and running via command line.
grid_view
GUI · Easy

LM Studio

Beautiful graphical interface with a built-in model browser.
speed
Pro · Max Speed

llama.cpp

Maximum performance and full control for advanced users.

All Linux Tutorials

LINUX 7 MIN READ

Ollama auf Linux ausführen: Der ultimative Leitfaden

Ollama als systemd-Hintergrunddienst auf Ubuntu/Debian bereitstellen. Vollständige Einrichtung für NVIDIA CUDA und AMD ROCm.

Read Guide arrow_forward
LINUX 6 MIN READ

LM Studio unter Linux (Ubuntu/Debian) einrichten

Installieren Sie das LM Studio AppImage unter Linux, um eine übersichtliche grafische Oberfläche für Ihre lokalen KI-Modelle zu erhalten.

Read Guide arrow_forward
LINUX 15 MIN READ

Lokales Llama 3 unter Linux

Stellen Sie Metas Llama-3-Modell lokal unter Linux mit llama.cpp und vollständiger CUDA-Unterstützung bereit. Diese Anleitung behandelt die Kompilierung, Quantisierung und die Ausführung des Modells über die Befehlszeile.

Read Guide arrow_forward
LINUX 12 MIN READ

Hochdurchsatz-Serving mit vLLM auf Ubuntu

Für unternehmensgerechte Leistung setzen Sie vLLM auf Linux ein, um Modelle mit PagedAttention und maximalem Token-Durchsatz bereitzustellen.

Read Guide arrow_forward