Ein LLM auf einem VPS ohne GPU mit Ollama ausführen: Der praxisorientierte Leitfaden

Ein Sprachmodell auf dem eigenen Server auszuführen, hat einen offensichtlichen Vorteil: Die an das Modell gesendeten Daten verlassen den Rechner nie, und die Kosten hängen nicht mehr von der Anzahl der Anfragen ab. Die meisten Anleitungen gehen jedoch davon aus, dass Sie über eine Grafikkarte verfügen. Was kann man auf einem herkömmlichen VPS ohne GPU tatsächlich erwarten?

Die kurze Antwort: Für bestimmte Anwendungsfälle deutlich mehr, als man denkt, für andere deutlich weniger, als man hofft. Dieser Leitfaden liefert konkrete Größenordnungen, anhand derer Sie vor der Bestellung eine Entscheidung treffen können, und zeigt anschließend, wie Sie Ollama installieren und über n8n nutzen können.

1. Warum ein LLM auch ohne GPU laufen kann

Zwei Techniken ermöglichen die Ausführung auf dem Prozessor. Die erste ist die Quantisierung: Die ursprünglich auf 16 Bit gespeicherten Modellparameter werden auf etwa 4 Bit komprimiert. Das Modell benötigt dadurch fast viermal weniger Speicherplatz, wobei bei den meisten Aufgaben nur ein moderater Qualitätsverlust auftritt. Die zweite ist die Engine llama.cpp, auf der Ollama basiert und die für die Nutzung der Vektorbefehle moderner Prozessoren optimiert ist.

Auf der CPU ist nicht so sehr die Rechenleistung der begrenzende Faktor, sondern vielmehr die Geschwindigkeit, mit der der Speicher Daten an den Prozessor überträgt. Um jedes Wort zu generieren, muss die Engine alle Parameter des Modells durchlaufen. Je größer das Modell ist, desto länger dauert dieser Durchlauf, und ab einer bestimmten Anzahl von Kernen bringt das Hinzufügen weiterer Kernen kaum noch einen Unterschied.

2. Wie viel Arbeitsspeicher sollten Sie einplanen?

Das Modell muss vollständig im Arbeitsspeicher Platz finden, wobei ein Spielraum für das System, den Konversationskontext und die übrigen Serverdienste vorgesehen sein muss. Bei der gängigsten 4-Bit-Quantisierung ergibt sich in etwa folgender Speicherbedarf:

Wenn n8n und PostgreSQL auf demselben Server laufen, addieren Sie 2 bis 4 GB zu diesen Werten hinzu. Und bedenken Sie, dass ein umfangreicher Kontext – beispielsweise ein ganzes Dokument, das an das Modell übergeben wird – zusätzlich zu den Parametern ebenfalls Speicherplatz beansprucht.

3. Mit welcher Geschwindigkeit ist zu rechnen?

Die Geschwindigkeit wird in Tokens pro Sekunde gemessen, wobei ein Token im Durchschnitt drei Viertel eines Wortes entspricht. Die veröffentlichten Messwerte pro Prozessor ergeben folgende Größenordnungen:

• Modell mit 3 Milliarden Parametern : etwa 15 bis 30 Tokens pro Sekunde auf 6 bis 12 vCPUs. Die Antwort wird in einer angenehmen Lesegeschwindigkeit angezeigt.
• Modell von 7 bis 8 Milliarden : etwa 5 bis 15 Tokens pro Sekunde auf 8 bis 12 vCPUs. Eine Antwort mit 300 Tokens dauert somit zwischen 20 Sekunden und einer Minute.
• 14-Milliarden-Modell : Nur wenige Tokens pro Sekunde. Geeignet für die nächtliche Verarbeitung, jedoch nicht für Interaktionen.

Eine zweite Verzögerung überrascht oft: Bevor das Modell das erste Wort generiert, muss es den gesamten bereitgestellten Text lesen. Auf einer GPU erfolgt diese Phase nahezu augenblicklich; auf einer CPU kann es bei einem mehrseitigen Dokument mehrere Dutzend Sekunden dauern, bis die Antwort beginnt. Teilen Sie lange Texte in Abschnitte auf oder fassen Sie sie schrittweise zusammen.

Schließlich verarbeitet ein CPU-basierter Server jeweils nur eine Anfrage effizient. Zehn gleichzeitige Nutzer erhalten nicht zehn schnelle Antworten, sondern es entsteht eine Warteschlange.

4. Was funktioniert, was nicht funktioniert

Die geeigneten Verwendungszwecke

• Ordnen und sortieren : einer E-Mail, einem Support-Ticket oder einer Kundenbewertung eine Kategorie zuweisen. Die Antwort umfasst nur wenige Tokens und wird daher schnell bereitgestellt, selbst bei einem Modell mit 7 Milliarden Parametern.
• Daten extrahieren : Eine E-Mail oder eine Rechnung in strukturiertes JSON umwandeln, mit den Feldern, die Ihr Workflow benötigt.
• Im Hintergrund minimieren : Jede Nacht eine Zusammenfassung von Dokumenten, Gesprächen oder Berichten erstellen, wenn niemand auf eine Antwort wartet.
• Embeddings generieren : Die auf die semantische Suche spezialisierten Embedding-Modelle sind klein und lassen sich schnell auf dem Prozessor ausführen. Sie bilden den Grundbaustein einer internen Dokumentensuchmaschine.
• Verarbeitung sensibler Daten : Inhalte, die nicht an einen externen Anbieter übermittelt werden dürfen, pseudonymisieren, analysieren oder umformulieren.

Zu vermeidende Verwendungsweisen

• Ein Echtzeit-Chat für mehrere Nutzer : Die Warteschlange macht das Erlebnis schnell unangenehm.
• Komplexe Schlussfolgerungen oder fortgeschrittene Codegenerierung : Die kleinen Modelle schneiden dabei deutlich schlechter ab als die großen Modelle, auf die über die API zugegriffen werden kann.
• Die Analyse umfangreicher Dokumente im laufenden Betrieb : Die anfängliche Lesephase dauert zu lange.

5. Ollama auf dem VPS installieren

Mit Docker lässt sich die Installation mit einem einzigen Befehl durchführen. Notieren Sie sich die Adresse 127.0.0.1 vor dem Port: Ollama verfügt über keine Authentifizierung und darf niemals direkt im Internet erreichbar sein.

docker run -d --name ollama \
  --restart unless-stopped \
  -p 127.0.0.1:11434:11434 \
  -v ollama:/root/.ollama \
  ollama/ollama

Laden Sie anschließend eine Vorlage herunter und überprüfen Sie, ob diese folgende Kriterien erfüllt:

docker exec -it ollama ollama pull llama3.2:3b
curl http://127.0.0.1:11434/api/generate -d '{
  "model": "llama3.2:3b",
  "prompt": "Classe ce message en urgent ou non urgent : le serveur ne répond plus.",
  "stream": false
}'

Standardmäßig entlädt Ollama das Modell nach einigen Minuten Inaktivität aus dem Speicher, und das erneute Laden verlängert die nächste Abfrage um mehrere Sekunden. Wenn der Server ausschließlich für diesen Zweck vorgesehen ist, halten Sie das Modell geladen, indem Sie Folgendes hinzufügen: -e OLLAMA_KEEP_ALIVE=24h beim Startbefehl.

6. Ollama mit n8n verbinden

Wenn Sie n8n mit Docker Compose gemäß unserer n8n-Installationsanleitung installiert haben, fügen Sie Ollama am einfachsten als Dienst in dieselbe Datei ein. Die beiden Container nutzen dann ein privates Netzwerk, ohne dass dabei Ports geöffnet werden:

  ollama:
    image: ollama/ollama
    restart: unless-stopped
    environment:
      OLLAMA_KEEP_ALIVE: 24h
    volumes:
      - ollama_data:/root/.ollama

Hinzufügen ollama_data: im Abschnitt volumes Am Ende der Datei starten Sie den Vorgang erneut mit docker compose up -d, und laden Sie anschließend die Vorlage herunter mit docker compose exec ollama ollama pull llama3.2:3b.

Erstellen Sie in n8n eine Ollama-ID mit der Adresse http://ollama:11434. Anschließend können Sie den Knoten Ollama Chat Model als Vorlage für einen „AI Agent“-Knoten oder eine LLM-Kette verwenden, genau wie Sie es mit einem OpenAI- oder Anthropic-Modell tun würden.

Ein effektiver Ansatz besteht darin, beides zu kombinieren: Das lokale Modell sortiert, extrahiert und verarbeitet alle sensiblen oder sich wiederholenden Daten, und nur komplexe Anfragen werden an ein über eine API zugängliches Modell weitergeleitet.

7. API oder lokales Modell: Wie soll man sich entscheiden?

Lassen Sie uns eines klarstellen: Was die reine Qualität der Antworten angeht, sind die über eine API zugänglichen großen Modelle dem, was ein Prozessor leisten kann, nach wie vor weit überlegen. Und bei moderatem Datenaufkommen sind ihre Kosten pro Abfrage oft gering. Das lokale Modell lässt sich aus drei konkreten Gründen rechtfertigen:

• Vertraulichkeit, wenn die Daten Ihre Infrastruktur nicht verlassen dürfen;
• das Volumen, wenn Tausende kleiner, sich wiederholender Aufgaben zu erheblichen API-Kosten führen würden;
• die Unabhängigkeit, wenn Sie nicht von der Verfügbarkeit oder von Tarifänderungen eines Anbieters abhängig sein möchten.

Sollte keiner dieser Gründe zutreffen, beginnen Sie mit einem Modell über die API: Jeder VPS führt die Workflows aus, die ihn aufrufen. Sollte einer dieser Gründe zutreffen, ist ein Server mit 16 GB RAM und einem Modell mit 7 bis 8 Milliarden Parametern der ausgewogenste Ausgangspunkt, und 32 GB bieten ausreichend Platz für n8n, dessen Datenbank und ein Embedding-Modell.

Weiterlesen

Wann sollte man von einem VPS auf einen dedizierten Server umsteigen?

CPU-Steal, RAM-Auslastung, Virtualisierung … Konkrete Anzeichen dafür, dass ein VPS nicht mehr ausreicht, und wie Sie ohne Ausfallzeiten auf einen dedizierten Server umsteigen können.

Wie viele vCPUs und wie viel RAM benötigt ein VPS?

Website, Discord-Bot, Spieleserver, Datenbank … Wie viel vCPU, RAM und NVMe sollten Sie für Ihren VPS einplanen, ohne zu viel zu bezahlen? Ein praktischer Leitfaden für 2026.

Intel Xeon Gold: Was sich für einen VPS ändert

Xeon Gold, ECC-Speicher, AVX-512: Was diese Merkmale im Vergleich zu einem Prozessor für den Consumer-Markt tatsächlich für einen VPS leisten und für welche Anwendungszwecke sie geeignet sind.

Häufig gestellte Fragen