BrillianzeHomelab
Vergleich
BsN-Ochsenkopf in Schwarz-Rot-Gold mit goldenem C

Reranking für die lokale Suche verstehen

Die Vektorsuche liefert passende Kandidaten, setzt aber die entscheidende Passage nicht immer ganz nach oben. Ein Reranker bewertet die bereits gefundenen Treffer erneut im Verhältnis zur konkreten Frage. Gerade für mehrdeutige deutsche Fachbegriffe kann das helfen; die erste Suchstufe muss die richtige Stelle allerdings überhaupt erst finden.

Erst finden, dann genauer sortieren

Sentence Transformers beschreibt ein zweistufiges Retrieve-and-Re-Rank-Verfahren: Eine schnelle Suche holt eine begrenzte Kandidatenmenge, ein Cross-Encoder verarbeitet anschließend jeweils Frage und Kandidat gemeinsam. Anders als gespeicherte Einzelvektoren kann diese Paarbewertung auf die konkrete Frage reagieren. Für jeden Kandidaten ist aber ein eigener Modellvergleich nötig. Deshalb ist das Verfahren für den gesamten Dokumentbestand ungeeignet; der teurere Schritt wird auf eine Vorauswahl beschränkt. Wenn ein relevantes Dokument nicht in dieser Vorauswahl steckt, kann das Reranking es nicht zurückholen. Eine schwache erste Stufe wird nicht durch das bloße Hinzufügen eines zweiten Modells geheilt. [1]

Scores sind keine Wahrheitswerte

Die Cross-Encoder-Dokumentation erklärt, dass Bewertungen je nach Modell beispielsweise rohe Logits statt kalibrierter Wahrscheinlichkeiten sein können. Ein höherer Wert kann für die Rangfolge genügen, ohne dass „0,9“ eine neunzigprozentige Richtigkeit bedeutet. Auch eine nachgeschaltete Sigmoid-Funktion ändert die Reihenfolge nicht. Zeige solchen Zahlen in einer Oberfläche daher keine erfundene Gewissheit an. Ein Reranker bewertet Relevanz zum Suchtext, nicht automatisch Aktualität, Quellenvertrauen oder Zugriffsrecht. Wenn alte und neue Versionen derselben Anleitung im Index liegen, braucht es Metadatenfilter oder eine explizite Versionsregel. Für kleine Archive lohnt sich abzuwägen, ob der zusätzliche Dienst und seine Latenz gegenüber einer gut konfigurierten Basissuche einen erkennbaren Nutzen bringen. [2]

Prüfen ohne schöne Demo-Fragen

Lege eine Testmenge mit echten Fragen, korrekten Fundstellen und plausiblen falschen Treffern an. Miss zunächst, ob die Basissuche den richtigen Abschnitt unter den Kandidaten findet. Vergleiche dann die Position der richtigen Fundstelle vor und nach dem Reranking, bei identischer Kandidatenzahl. Erfasse die Wartezeit bei einem Nutzer und bei parallelen Anfragen; ein Modell kann qualitativ helfen und den gemeinsamen Server trotzdem ausbremsen. Teste auch Fälle mit Zahlen, Negationen und ähnlich benannten Produkten. Prüfe, ob die Antwortgenerator-Stufe weiterhin die Fundstelle zitiert, statt nur einen hohen Score zu übernehmen. Bleibt die richtige Passage regelmäßig außerhalb der Vorauswahl, ändere Suche oder Chunking zuerst. Ein lokales Reranking ist ein präziser Sortierschritt, keine universelle Korrektur für fehlende Dokumente. [1] [2]

Es lohnt sich, Suchfehler systematisch zu benennen. War die Passage nicht im Index, konnte keine der beiden Stufen sie finden. War sie im Index, aber nicht unter den Kandidaten, liegt das Problem vor dem Reranker. Wurde sie erst durch die zweite Stufe nach unten sortiert, ist das ein echter Reranking-Fehler. Diese Unterscheidung verhindert endloses Drehen an einem Schwellenwert. Prüfe außerdem, ob mehrfach vorhandene Fassungen desselben Dokuments die ersten Plätze blockieren. Deduplizierung und Quellenfilter können in diesem Fall mehr bewirken als ein weiteres Modell.

Weiterlesen: RAG-Suche im eigenen Netz und lokale RAG-Pipeline. Dort findest du Grundlagen; hier steht die überprüfbare Grenze der konkreten Funktion im Mittelpunkt.

Lege vor der Umstellung fest, welche Treffer ein Mensch als relevant markiert hat. Miss dann an denselben Fragen, ob der Reranker die passenden Textstellen weiter nach oben bringt, ohne andere wichtige Treffer zu verdrängen. Eine gute Rangfolge kann fehlende Dokumente oder fehlerhafte Berechtigungsfilter nicht ersetzen; diese Fehler bleiben separat zu prüfen.

Halte für die Bewertung eine feste Kandidatenzahl und dieselben Dokumentversionen fest. Vergleiche dann an den markierten Fragen die Rangposition der relevanten Passage vor und nach dem Cross-Encoder; protokolliere zusätzlich die Zeit für beide Stufen getrennt. Eine Veränderung des Index zwischen den Läufen würde das Ergebnis verfälschen. Ist die richtige Passage nie unter den Kandidaten, verbessere zuerst Zerlegung, Index oder Filter. Roh-Scores verschiedener Modelle lassen sich ohne Kalibrierung nicht als gemeinsame Wahrscheinlichkeit lesen; für den Test zählt die resultierende Reihenfolge. [1] [2]

Offizielle Quellen und Prüfnotizen