BrillianzeHomelab
Vergleich
BsN-Ochsenkopf in Schwarz-Rot-Gold mit goldenem C

Ollama Keep Alive: geladene Modelle gezielt verwalten

Ein heruntergeladenes Modell ist nicht dasselbe wie ein geladenes Modell. Die Dateien liegen auf Datenträgern; bei einer Anfrage benötigt Ollama zusätzlich Arbeitsspeicher oder Grafikspeicher. Wer zwischen verschiedenen Modellen wechselt, bemerkt deshalb Wartezeiten beim erneuten Laden. Ollamas FAQ beschreibt standardmäßig fünf Minuten Verweildauer im Speicher und erklärt zugleich die Möglichkeiten zum Vorladen, Stoppen und Überprüfen.[1] Hier geht es ausschließlich um diese Betriebsentscheidung, nicht um die Installation oder die Modellwahl.

Welche Einstellung welchen Zweck hat

keep_alive lässt sich pro Anfrage an /api/generate oder /api/chat übergeben. Die Dokumentation nennt eine Zeitspanne wie 10m, eine Zahl in Sekunden, negative Werte für dauerhaftes Halten und 0 zum sofortigen Entladen nach der Antwort.[1] Die Server-Variable OLLAMA_KEEP_ALIVE setzt dagegen eine allgemeine Vorgabe; ein API-Wert hat Vorrang. Notiere deshalb bei der Fehlersuche sowohl die Serverkonfiguration als auch die tatsächlich gesendeten API-Felder.

Das Wort „dauerhaft“ beschreibt hier das Verbleiben im Speicher während des laufenden Betriebs, nicht eine Garantie über Neustarts oder Speichermangel hinweg. Möchtest du ein Modell sofort freigeben, dokumentiert Ollama außerdem ollama stop. Die API-Referenz führt eine Anfrage mit keep_alive: 0 als Entladebeispiel auf.[2] Eine globale, unbegrenzte Frist kann sinnvoll sein, wenn genau ein Modell kontinuierlich gebraucht wird; bei wechselnden Aufgaben bindet sie möglicherweise Speicher ohne Nutzen.

Speicherbudget vor Bequemlichkeit

Bei mehreren gleichzeitig angefragten Modellen zählt nicht nur die Größe der Gewichtsdateien. Ollamas FAQ beschreibt, dass Modelle bei genügend verfügbarem RAM beziehungsweise VRAM gleichzeitig geladen werden können. Fehlt Speicher, werden neue Anfragen eingereiht, bis bestehende Modelle frei werden; auch parallele Anfragen pro Modell erhöhen den Kontextspeicherbedarf.[1] Ein kleineres keep_alive kann so dem nächsten Modell Raum schaffen, erhöht aber möglicherweise die Ladehäufigkeit. Ein größeres reduziert wiederholtes Laden, solange die Reservierung nicht andere Dienste verdrängt.

Unterscheide vor einer Änderung drei Symptome: langsamer erster Aufruf, dauerhaft langsame Generierung und wartende Anfragen. Nur der erste Fall weist unmittelbar auf Modell-Laden hin. Die Generate-API beschreibt load_duration im Antwortobjekt; damit lässt sich die Ladephase von der eigentlichen Auswertung unterscheiden, ohne fremde Benchmarks zu übernehmen.[2] Vergleiche identische Aufgaben bei unverändertem Modell und Kontext, sonst misst du verschiedene Vorgänge.

Prüfablauf für den eigenen Dienst

Sieh zunächst mit dem in der FAQ dokumentierten ollama ps nach, welche Modelle geladen sind und ob die Ausgabe CPU, GPU oder eine Mischung als Prozessor anzeigt.[1] Sende danach eine gewöhnliche Anfrage über deinen üblichen Client. Prüfe erneut die geladenen Modelle und die erwartete Ablaufzeit. Für häufig benötigte Modelle beschreibt die FAQ eine leere API-Anfrage als Vorladeweg; nutze dafür bewusst ein kurzes oder negatives Keep-Alive nur, wenn das Speicherbudget es hergibt.[1]

Teste anschließend eine zweite Modellanfrage und beobachte, ob sie wartet oder ob das erste Modell verdrängt wird. Stelle die bisherige Frist wieder her, falls weitere Dienste Speicher benötigen. Diese Prüfschritte sind eine Anleitung, keine Behauptung über Messwerte auf bestimmter Hardware. Auch das Betriebssystem und die Anzahl paralleler Clients beeinflussen das Ergebnis; dokumentiere daher Konfiguration und beobachtetes Verhalten getrennt.

Quellen

  1. Ollama: FAQ zu Keep Alive und geladenen Modellen
  2. Ollama: Generate-API und Ladezeit