BrillianzeHomelab
Vergleich
BsN-Ochsenkopf in Schwarz-Rot-Gold mit goldenem C

Continuous Batching für lokale LLM-Server

Ein Chatfenster antwortet schnell, während ein zweiter Nutzer warten muss: Bei einem geteilten lokalen LLM-Server zählt nicht nur die Leistung eines einzelnen Durchlaufs. Continuous Batching organisiert aktive und wartende Anfragen während der laufenden Generierung neu. Das ist vor allem eine Entscheidung über Serverbetrieb und Lastverteilung, keine neue Modellfähigkeit.

Warum ein statischer Batch nicht genügt

Prompts haben unterschiedliche Längen, Antworten enden zu verschiedenen Zeitpunkten. Ein starrer Stapel müsste auf langsame Mitglieder warten, bevor freie Plätze genutzt werden. Der vLLM-Architekturüberblick beschreibt einen Scheduler, der pro Schritt ein Tokenbudget zwischen laufenden und wartenden Anfragen verteilt. Damit können neue Arbeit und laufendes Dekodieren im Betrieb koordiniert werden. Die TGI-Architektur beschreibt ihrerseits Router, Warteschlange und Batchbildung vor dem Modellserver. Beide Quellen belegen ein Prinzip, aber nicht identische Konfigurationsschalter oder garantiert gleiche Ergebnisse auf jeder Hardware. Ein Betreiber sollte die tatsächlich eingesetzte Softwareversion prüfen, bevor er Parameter aus einem anderen Server übernimmt. [1] [2]

Der Zielkonflikt am Heimserver

Mehr zusammengefasste Arbeit kann den Gesamtdurchsatz verbessern, aber die einzelne Anfrage muss sich Ressourcen teilen. Lange Eingaben beanspruchen zunächst Prefill-Rechenzeit; lange Ausgaben halten Zustände im Speicher. Wird die Warteschlange zu groß, sinkt nicht nur die gefühlte Reaktionsfähigkeit: abgebrochene Browseranfragen und Timeouts werden relevant. Umgekehrt lässt eine strenge Begrenzung Kapazität ungenutzt. Continuous Batching kann keinen zusätzlichen VRAM erzeugen. Bei langen Kontexten und mehreren Nutzern steigt die Speicherlast trotz effizienter Planung. Für einen privaten Einzelplatz mit gelegentlichen Fragen ist der Vorteil möglicherweise kleiner als für einen gemeinsamen API-Dienst. Die passende Entscheidung hängt deshalb von Spitzenlast und gewünschter Antwortzeit ab, nicht vom Etikett einer Engine. [1]

Prüfung mit realistischen Nutzern

Simuliere nicht nur einen perfekt gleichmäßigen Strom kurzer Prompts. Verwende kurze und lange Eingaben, früh abbrechende und lange Antworten sowie mindestens einen gleichzeitigen Zugriff. Erfasse Wartezeit, Zeit bis zur ersten Ausgabe, Gesamtdurchsatz und Speicherbedarf getrennt. Prüfe insbesondere, ob eine große Anfrage kleine Anfragen verdrängt und wie der Server auf Abbruch reagiert. Halte Modell, Quantisierung und Kontextgrenze konstant, sonst vergleichst du mehrere Änderungen zugleich. Dokumentiere die maximal sinnvolle Parallelität für den eigenen Rechner, statt aus einer Herstellerdemonstration eine allgemeine Kapazitätszusage abzuleiten. Wenn die Anwendung vor allem interaktiv genutzt wird, ist die Verteilung der Wartezeiten oft wichtiger als der höchste aggregierte Durchsatz. [1] [2]

Für den Heimgebrauch kann eine klare Warteschlangenregel wichtiger sein als maximale Auslastung. Ein interaktiver Nutzer möchte meist zuerst eine sichtbare Reaktion, während eine nächtliche Dokumentverarbeitung auf Durchsatz optimiert werden darf. Beide Betriebsarten konkurrieren auf demselben Gerät. Plane deshalb Prioritäten und Grenzen bewusst, statt unbegrenzte parallele Requests zu akzeptieren. Das Server-Dashboard sollte wartende und aktive Anfragen unterscheidbar zeigen. Bei einem hängenden Client muss geprüft werden, ob dessen Ressourcen freigegeben werden. Erst mit solchen Beobachtungen lässt sich beurteilen, ob Scheduling die Benutzbarkeit verbessert oder nur eine schönere Durchsatzzahl liefert.

Weiterlesen: LLM-Server im Vergleich und GPU für lokale KI. Diese Hintergrundartikel ergänzen die hier beschriebene Prüfung, ersetzen aber keinen Test mit den eigenen Daten und Anforderungen.

Führe denselben Test mit einer Anfrage und mit mehreren parallelen Anfragen durch; vergleiche Zeit bis zum ersten Token, gesamte Antwortzeit und Durchsatz getrennt. Wiederhole ihn mit einer langen Eingabe und kurzen Antworten, damit Prefill nicht durch einen reinen Decode-Test verdeckt bleibt. Notiere die Anzahl gleichzeitig im KV-Cache gehaltener Sequenzen und Abbrüche, soweit die eingesetzte Engine diese Werte tatsächlich ausgibt. Ein höherer Gesamtdurchsatz rechtfertigt keine schlechtere interaktive Bedienung ohne festgelegte Priorität.

Offizielle Quellen und Prüfnotizen