BrillianzeHomelab
Vergleich
BsN-Ochsenkopf in Schwarz-Rot-Gold mit goldenem C

GGUF-Quantisierung: Modellgröße ist nicht alles

Beim lokalen LLM-Betrieb stehen oft mehrere GGUF-Dateien desselben Modells zur Auswahl: etwa eine hochpräzise Variante und verschiedene quantisierte Fassungen. Die Projektanleitung von llama.cpp beschreibt Quantisierung als Umwandlung einer GGUF-Eingabedatei in eine Darstellung mit geringerer Gewichtspräzision. Das verringert die Größe und kann Inferenz beschleunigen, kann aber Genauigkeit kosten.[1] Dieser Text hilft bei der Auswahl einer Datei; ein allgemeiner Modellvergleich oder eine Kaufberatung ist er nicht.

Was die Kürzel aussagen – und was nicht

Namen wie Q4_K_M oder Q8_0 kennzeichnen Quantisierungsverfahren, nicht Qualitätssiegel. Der Projektleitfaden listet für ein Beispielmodell verschiedene Bitdichten, Dateigrößen und Geschwindigkeiten auf; diese Zahlen sind an genau dieses Modell und die dokumentierte Messumgebung gebunden.[1] Übertrage sie nicht als Garantie auf ein anderes Modell, eine andere Architektur oder deine GPU. Selbst wenn eine Datei auf den Datenträger passt, bleiben Speicher für Kontext, Zwischenergebnisse und eventuell multimodale Komponenten nötig.

Die zentrale Abwägung lautet daher: Reicht der Speicher für eine Variante mit mehr Präzision, oder ermöglicht erst eine kleinere Datei die gewünschte Modellgröße? Für enge Budgets ist eine kleinere Quantisierung eine nachvollziehbare Option, aber nicht automatisch die beste. Eine größere Datei kann bei gleicher Aufgabe bessere Ergebnisse liefern, sofern das System sie überhaupt vernünftig ausführen kann. Vergleiche Varianten desselben Ausgangsmodells, statt Dateigrößen unterschiedlicher Modelle direkt gleichzusetzen.

Quantisieren und neu quantisieren unterscheiden

Wer selbst quantisiert, sollte laut llama.cpp möglichst eine hochpräzise GGUF-Eingabe verwenden. Der Leitfaden warnt ausdrücklich, dass eine bereits quantisierte Datei erneut zu quantisieren die Qualität deutlich verschlechtern kann.[1] Archivierte Ausgangsdateien sind deshalb hilfreich, wenn später eine andere Zielvariante benötigt wird. Auch Metadaten und Architektur müssen zum verwendeten Inferenzprogramm passen; ein bloßes Umbenennen der Dateiendung erzeugt kein geeignetes GGUF.

Das Projekt bietet mit llama-imatrix eine zusätzliche Möglichkeit: Es berechnet aus einem Modell und einem Textdatensatz eine Wichtigkeitsmatrix für die Quantisierung.[2] Eine solche Kalibrierung ist Arbeit, kein kostenloser Qualitätsgewinn für jeden Anwendungsfall. Prüfe, ob der Text typische spätere Aufgaben abbildet; ein zufälliger Kalibrierungstext ist keine belastbare Evaluation. Die Dokumentation nennt die Matrix als Möglichkeit, Qualitätsverluste zu verringern, nicht als Garantie, dass diese verschwinden.

Prüfplan für die eigene Auswahl

Erfasse zuerst Modellherkunft, Lizenz, Architektur, Dateigröße und genaue Quantisierungsbezeichnung. Halte Ausgangsmodell und Prompt-Satz konstant. Starte dann mit einer höherpräzisen Referenz, sofern dein System sie laden kann, und teste dieselben Aufgaben mit einer kleineren Variante. Prüfe Antworttreue, strukturierte Ausgaben, längere Eingaben und gegebenenfalls die Sprache deiner echten Nutzung. Notiere Fehlerbeispiele, nicht nur das Gefühl, ein Modell sei „schneller“.

Kontrolliere zusätzlich beim Laden, wie viel Speicher tatsächlich frei bleibt. Eine Quantisierung der Gewichte ist nicht dasselbe wie die Quantisierung des KV-Kontextcaches; diese Stellschrauben getrennt bewerten. Falls ein multimodales Modell Bilder oder Audio verarbeitet, weist die llama.cpp-Anleitung ausdrücklich auf separate Komponenten hin, die gegebenenfalls ebenfalls konvertiert werden müssen.[1] Die passende Datei ist letztlich diejenige, die deine Aufgaben bei ausreichender Qualität und tragfähigem Speicherbedarf erfüllt – nicht die mit dem eindrucksvollsten Kürzel.

Quellen

  1. llama.cpp: Anleitung zum Quantisieren
  2. llama.cpp: Importance-Matrix