BrillianzeHomelab
Vergleich
BsN-Ochsenkopf in Schwarz-Rot-Gold mit goldenem C

Embeddings für deutsche Dokumente auswählen

Eine semantische Suche findet verwandte Aussagen auch dann, wenn Frage und Dokument unterschiedliche Wörter verwenden. Dafür bildet ein Embedding-Modell Text auf Vektoren ab. Das Sprachlabel „multilingual“ ist ein guter Anfang, aber keine Garantie für Verträge, gescannte Briefe oder technische Abkürzungen im eigenen Archiv.

Zwei Modellkarten, zwei unterschiedliche Profile

Die BGE-M3-Modellkarte nennt dichte, sparse und mehrvektorielle Retrieval-Varianten, 1024 Dimensionen und Eingaben bis 8192 Token. Die Karte des multilingualen MiniLM-Modells führt Deutsch ausdrücklich auf, nennt 384 Dimensionen und eine maximale Sequenzlänge von 128. Daraus folgt keine allgemeine Rangliste: Der kleinere Vektor reduziert Speicherbedarf im Index, während eine kurze Sequenzgrenze bei langen Absätzen frühe Textteile bevorzugen kann. BGE-M3 bietet mehr Retrieval-Optionen, doch ihre Kombination muss die Suchsoftware tatsächlich unterstützen. Beide Karten beschreiben Fähigkeiten, nicht die Qualität deiner gescannten Rechnungen. Berücksichtige zudem, ob das Modell eine bestimmte Formatierung von Anfragen und Dokumenten erwartet. [1] [2]

Der Datenweg entscheidet mit

Vor der Vektorisierung müssen OCR-Fehler, Tabellen und Seitengrenzen behandelt werden. Eine falsch erkannte Kundennummer wird durch semantische Ähnlichkeit nicht zuverlässig repariert. Sehr große Abschnitte vermischen mehrere Themen; zu kurze Abschnitte verlieren den Bezug zur Quelle. Speichere daher Dokument-ID, Seite und Textposition neben jedem Vektor. Wenn sich Modell oder Vorverarbeitung ändern, müssen vorhandene Vektoren konsistent neu erzeugt werden: Eine gemischte Sammlung unterschiedlicher Embedding-Räume ist keine saubere Vergleichsbasis. Für exakte Namen, Nummern und Fachbegriffe kann eine lexikalische Suche ergänzend sinnvoll sein. Lokale Speicherung verhindert zwar die Übertragung an einen externen Embedding-Dienst, ersetzt aber keine Berechtigungsprüfung für die Dokumente im Index. [1]

Ein kleiner Goldstandard aus eigenen Fragen

Wähle einige reale Informationsbedürfnisse und notiere vorab, welche Dokumentstellen eine korrekte Antwort belegen. Darunter sollten Synonyme, Tippfehler, Fachvokabular und konkrete Aktenzeichen sein. Vergleiche mit derselben Chunk-Aufteilung, demselben Korpus und derselben Anzahl zurückgegebener Treffer. Prüfe nicht nur den ersten Treffer, sondern ob die relevante Passage überhaupt unter den Kandidaten auftaucht. Trenne Trefferqualität von späterer Antwortgenerierung; sonst verdeckt ein eloquentes LLM schwache Suche. Teste außerdem einen Dokumenttyp, der außerhalb der beworbenen Modellbeispiele liegt. Erst danach sind Indexgröße, Latenz und Ressourcenbedarf für die Auswahl aussagekräftig. Die genannten Modellkarten liefern Grenzen und Einsatzhinweise, aber keinen Ersatz für diesen lokalen Gegenversuch. [1] [2]

Deutschsprachige Archive enthalten häufig Mischformen aus Englisch, Produktnummern und Eigennamen. Eine gute Testfrage sollte deshalb nicht nur einen vollständigen deutschen Satz enthalten. Frage nach einer synonym formulierten Aussage, nach einer exakt geschriebenen Kennung und nach einem Absatz mit beiden Sprachen. Betrachte falsch positive Treffer ebenso wie verpasste Fundstellen. Wenn eine Anwendung Antworttexte erzeugt, zeige dem Nutzer die Originalstelle und nicht bloß einen Ähnlichkeitswert. Die Wahl des Embedding-Modells ist reversibel, sofern Rohtexte, Quellenmetadaten und die Regeln zum Aufbau des Index sauber aufbewahrt werden. Das erleichtert spätere Modellwechsel und saubere Vergleiche.

Weiterlesen: lokale rag pipeline und paperless ngx dokumentenarchiv. Die Trefferqualität hängt von den konkreten Originalstellen und ihrem ausgelesenen Text ab.

Für einen Vergleich eignen sich eigene, freigegebene Beispieldokumente mit bekannten Suchfragen. Prüfe nicht nur, ob ein relevanter Treffer irgendwo erscheint, sondern ob er unter den ersten sichtbaren Ergebnissen liegt. Fachbegriffe, zusammengesetzte deutsche Wörter und kurze Fragen sollten gesondert vertreten sein. Die Qualität der Quelltexte bleibt vom Embedding-Verfahren unabhängig.

Führe zusätzlich einen lexikalischen Kontrolllauf durch: Für Rechnungsnummern kann eine exakte Zeichenfolge semantischen Treffern überlegen sein. Beide Modelle müssen denselben OCR-Text sehen. BGE-M3s sparse und mehrvektorielle Ausgaben sind in einer reinen Dense-Vektordatenbank nicht mitgetestet; wer nur Dense indiziert, sollte den Vergleich ausdrücklich auf diesen Betriebsmodus begrenzen.

Offizielle Quellen und Prüfnotizen