Ollama ermöglicht den lokalen Betrieb von Large Language Models (LLMs) auf einem Linux-Server. Die Modelle werden auf der eigenen Hardware ausgeführt und können über die Kommandozeile oder eine HTTP-API verwendet werden.
Dieser Artikel zeigt die native Installation von Ollama unter Ubuntu Server. Als Beispiel wird ein kleines Modell heruntergeladen und anschließend über die Kommandozeile sowie die lokale API getestet.
Die Anleitung ist für Ubuntu Server 24.04 LTS ausgelegt. Die Installation funktioniert in der Regel auch unter Ubuntu Server 26.04 LTS und 22.04 LTS. Bei GPU-Systemen sollte vorab geprüft werden, ob ein passender Treiber für die eingesetzte Ubuntu-Version verfügbar ist.
Für erste Tests werden folgende Ressourcen empfohlen:
wikisudo-RechtenPrüfen Sie die installierte Ubuntu-Version:
cat /etc/os-release
Aktualisieren Sie das Betriebssystem:
sudo apt update && sudo apt upgrade -y
Installieren Sie curl:
sudo apt install -y curl
Führen Sie das offizielle Installationsskript aus:
curl -fsSL https://ollama.com/install.sh | sh
Prüfen Sie anschließend die installierte Version:
ollama -v
Das Installationsskript richtet einen systemd-Dienst ein. Prüfen Sie dessen Status:
sudo systemctl status ollama
Der Dienst sollte mit dem Status active (running) angezeigt werden.
Falls der Dienst nicht gestartet ist, aktivieren und starten Sie ihn manuell:
sudo systemctl enable --now ollama
In diesem Beispiel wird gemma3:4b verwendet. Das Modell benötigt beim Download etwa 3,3 GB Speicherplatz und eignet sich für einen ersten Funktionstest.
Starten Sie das Modell:
ollama run gemma3:4b
Beim ersten Aufruf lädt Ollama das Modell automatisch herunter. Abhängig von der Internetverbindung kann dies einige Minuten dauern.
Geben Sie anschließend beispielsweise folgende Anfrage ein:
Beenden Sie die Sitzung mit:
/bye
Zeigen Sie die installierten Modelle an:
ollama ls
Ollama verwendet eine unterstützte GPU automatisch, wenn der benötigte Treiber installiert ist.
Starten Sie das Modell und öffnen Sie anschließend eine zweite SSH-Sitzung:
ollama run gemma3:4b
Prüfen Sie dort die aktuelle Ausführung:
ollama ps
Die Spalte PROCESSOR zeigt, ob das Modell auf der CPU, der GPU oder auf beiden ausgeführt wird.
Bei einer NVIDIA-GPU kann die Auslastung zusätzlich geprüft werden:
nvidia-smi
Wenn keine unterstützte GPU vorhanden ist, führt Ollama das Modell über CPU und Arbeitsspeicher aus. Die Antwortzeiten sind dann in der Regel länger.
Ollama stellt standardmäßig eine lokale HTTP-API auf Port 11434 bereit.
Zeigen Sie die vorhandenen Modelle über die API an:
curl http://127.0.0.1:11434/api/tags
Bei einer erfolgreichen Verbindung wird eine JSON-Antwort mit den installierten Modellen zurückgegeben.
Die lokale API wird beispielsweise von Open WebUI, n8n und eigenen Anwendungen verwendet.
Ollama lauscht standardmäßig nur auf 127.0.0.1. Soll ein anderes System im lokalen Netzwerk auf die API zugreifen, muss die Bind-Adresse angepasst werden.
Öffnen Sie die systemd-Erweiterung:
sudo systemctl edit ollama.service
Fügen Sie folgenden Inhalt ein:
[Service]
Environment="OLLAMA_HOST=0.0.0.0:11434"
Übernehmen Sie die Änderung:
sudo systemctl daemon-reload
sudo systemctl restart ollama
Prüfen Sie anschließend den Port:
sudo ss -tulpn | grep 11434
Die Ollama-API besitzt bei lokal betriebenen Modellen standardmäßig keine eigene Benutzerauthentifizierung. Port 11434 sollte daher nur für benötigte Systeme freigegeben und nicht direkt aus dem Internet erreichbar sein.
Beispiel für die Freigabe eines internen Subnetzes mit UFW:
sudo ufw allow from 192.168.1.0/24 to any port 11434 proto tcp
Passen Sie das Subnetz an die eigene Umgebung an.
Weitere Ollama-Umgebungsvariablen können in derselben systemd-Erweiterung ergänzt werden. Alle Environment="..."-Zeilen werden gemeinsam unter einem [Service]-Block eingetragen.
Unter Linux wird Ollama durch erneutes Ausführen des Installationsskripts aktualisiert:
curl -fsSL https://ollama.com/install.sh | sh
Die bereits heruntergeladenen Modelle bleiben erhalten.
Prüfen Sie anschließend die Version:
ollama -v
Prüfen Sie den Dienststatus:
sudo systemctl status ollama
Zeigen Sie die letzten Protokolleinträge an:
sudo journalctl -e -u ollama
Prüfen Sie den verfügbaren Speicherplatz:
df -h
Zeigen Sie die installierten Modelle an:
ollama ls
Laden Sie das Modell bei Bedarf erneut herunter:
ollama pull gemma3:4b
Prüfen Sie, ob Ollama auf dem Port lauscht:
sudo ss -tulpn | grep 11434
Starten Sie den Dienst neu:
sudo systemctl restart ollama
 |
Autor: Florian Müller Florian Müller hat bereits 2008 seine Ausbildung bei Thomas-Krenn gemacht und war danach in der internen IT-Administration tätig. Mittlerweile ist er im Presales Consulting Team und unterstützt Kunden und Kollegen beim Sizing und der Planung von komplexen IT-Projekten.
|
