BrillianzeHomelab
Vergleich
BsN-Ochsenkopf in Schwarz-Rot-Gold mit goldenem C

Chunking-Strategien für lokales RAG

Eine RAG-Suche findet nicht das ganze Buch, sondern gespeicherte Textabschnitte. Wo diese Chunks beginnen und enden, bestimmt oft, ob eine Antwort mit Beleg möglich ist. Ein Absatz mit einer Voraussetzung und der folgende mit einer Ausnahme dürfen nicht gedankenlos getrennt werden; eine ganze Handbuchseite als Treffer kann dagegen zu viel Rauschen enthalten.

Trennzeichen sind eine redaktionelle Entscheidung

Der rekursive Textsplitter von LangChain versucht standardmäßig größere Einheiten wie Absätze und Zeilen zu erhalten, bevor er an Leerzeichen oder Zeichen trennt. In der dokumentierten Grundeinstellung misst er die Größe nach Zeichen, nicht nach den Token des späteren Embedding-Modells. Das ist wichtig bei langen zusammengesetzten deutschen Wörtern, Tabellen und Codeblöcken. Ein Zeichenlimit schützt nicht automatisch vor einer Tokenüberschreitung; miss die Länge mit dem Tokenizer des eingesetzten Embedding-Modells. Beginne mit vorhandener Struktur: Überschrift, Abschnitt, Absatz, Seite. Speichere eine stabile Quellenreferenz zum Original, damit ein gefundener Chunk auch nach einem erneuten Indexlauf nachvollziehbar bleibt. Überschneidungen können Beziehungen an Grenzen retten, erzeugen aber doppelte Treffer und vergrößern den Index. [1]

Semantische Schnitte sind nicht magisch

LlamaIndex beschreibt einen Semantic Chunker, der benachbarte Sätze anhand ihrer Embedding-Ähnlichkeit auftrennt. Ein Themenwechsel kann so anders erkannt werden als durch fixe Länge. Das Verfahren benötigt jedoch zusätzliche Modellarbeit und hängt von einer brauchbaren Satztrennung ab. Das dokumentierte Beispiel weist darauf hin, dass seine Satz-RegEx besonders auf Englisch ausgerichtet ist. Deutsche Abkürzungen, Listenpunkte oder Tabellen können die Grenze verschieben. Ein semantischer Schnitt ersetzt daher weder Dokumentstruktur noch Sichtkontrolle. Bei schlecht OCR-erkannten Scans kann eine vermeintliche Themenänderung schlicht ein Zeichenerkennungsfehler sein. Wenn Fragen über mehrere Seiten beantwortet werden müssen, ist eventuell ein Elternabschnitt als Rückgabe besser als ein isolierter Satz. [2]

Die richtige Größe mit Belegen bestimmen

Erstelle Fragen, deren Antwort an einer Abschnittsgrenze, in einer Tabelle und in einem langen Fließtext liegt. Indexiere denselben Bestand mit mehreren klar dokumentierten Strategien. Prüfe bei identischer Suchmethode, ob die relevante Stelle gefunden wird und ob der zurückgegebene Text ausreichend Kontext für eine korrekte Antwort enthält. Zähle doppelte Treffer und unbeabsichtigte Textverluste. Vergleiche Zeichen- und Tokenlängen für das tatsächlich eingesetzte Embedding-Modell; kontrolliere auch die spätere Kontextgrenze des Antwortmodells. Bei jeder Änderung der Chunk-Regeln muss der Index reproduzierbar neu aufgebaut werden. Bewahre Metadaten wie Titel, Seite und Abschnitt auf, statt sie nur im Text zu verstecken. Eine knappe, belegbare Passage ist das Ziel, nicht eine allgemein gültige Zahl von Zeichen pro Chunk; protokolliere für jede Testfrage die Fundstelle und ob der entscheidende Kontext mitgeliefert wurde. [1] [2]

Für Anleitungen mit nummerierten Schritten sollte der Textschnitt die Schrittfolge erkennbar lassen. Bei Gesetzen, Verträgen oder Konfigurationen sind Überschriften, Gültigkeitsdatum und Versionsangaben oft Teil der Antwort. Entfernt ein Importer diese Umgebung, kann ein perfekt gerankter Satz trotzdem irreführen. Bei Tabellen gehören Spaltenüberschriften zum jeweiligen Wert; ein bloßer Zeilenausschnitt reicht möglicherweise nicht. Halte diese Struktur als Metadaten oder im Chunk fest und vergleiche sie bei der manuellen Gegenprobe mit dem Original. Ein späterer Dokument-Update erfordert neue Chunks und eine nachvollziehbare Bereinigung veralteter Treffer.

Weiterlesen: RAG lokal und Paperless-ngx einrichten. Diese Hintergrundartikel ergänzen die hier beschriebene Prüfung, ersetzen aber keinen Test mit den eigenen Daten und Anforderungen.

Halte bei der Gegenprobe Fragen, erwartete Belegstelle und tatsächlich zurückgegebene Abschnitte getrennt fest. Ein Treffer zählt nicht schon dann als hilfreich, wenn ein Stichwort vorkommt: Die entscheidende Ausnahme oder Tabellenüberschrift muss ebenfalls lesbar bleiben. Dokumentiere Änderungen am Importer, am Embedding-Modell und an der Chunkregel, denn sonst lassen sich Unterschiede der Suchergebnisse nicht einer Ursache zuordnen. Ein kleiner, nachvollziehbarer Fragensatz ist dafür aussagekräftiger als eine willkürliche Zielgröße pro Chunk. [1]

Offizielle Quellen und Prüfnotizen