JSON-Schema-Ausgaben lokaler LLMs prüfen
Eine Anwendung benötigt ein Objekt mit festen Feldern; das lokale Sprachmodell liefert stattdessen Markdown oder setzt eine Zahl als Text ein. Ein JSON-Schema kann die erlaubte Ausgabeform beschreiben. Damit wird die Schnittstelle verlässlicher, aber nicht automatisch der Inhalt richtig. Wer strukturierte Ergebnisse weiterverarbeitet, muss Syntax, Typen und fachliche Plausibilität getrennt prüfen.
Schema als Vorgabe für die Generierung
Die offizielle Ollama-API-Referenz beschreibt strukturierte Ausgaben, bei denen ein JSON-Schema über das Feld format an die Chat-Anfrage übergeben wird. Die API-Referenz zeigt die Schema-Übergabe und eine Antwort als JSON-Zeichenfolge. Eine zusätzliche Validierung in der Anwendung ist sinnvoll: Die Ausgabe soll nicht nur wie JSON aussehen, sondern dem erwarteten Datentyp entsprechen. Ein Schema kann etwa Pflichtfelder, Listen und Datentypen vorgeben. Es kann nicht aus einem unleserlichen Beleg eine korrekte Rechnungsnummer erraten. Beschreibe daher im Prompt zusätzlich, welche Angaben aus welchen Eingaben zu extrahieren sind und wie fehlende Werte behandelt werden sollen. [1]
Grammatik ist keine Geschäftslogik
llama.cpp dokumentiert die Umwandlung einer Teilmenge von JSON Schema in eine Grammatik zur eingeschränkten Generierung. „Teilmenge“ ist entscheidend: Nicht jedes denkbare Schema-Feature wird identisch umgesetzt. Die Anleitung weist zudem darauf hin, dass die strukturelle Vorgabe bei normaler JSON-Schema-Ausgabe dem Modell nicht automatisch als erklärender Prompttext vorliegt. Eine kurze inhaltliche Beschreibung gehört also weiterhin in die Eingabe. Selbst ein formal gültiges Objekt kann ein erfundenes Datum, falsche Währung oder unzulässige Kombination enthalten. Baue fachliche Prüfungen und Fehlermeldungen außerhalb des Modells ein. Für Werte mit Außenwirkung ist eine menschliche Kontrolle beziehungsweise ein Abgleich gegen die Primärdaten nötig. [2]
Ein überprüfbarer Vertrag zwischen Modell und App
Entwerfe zuerst ein kleines Schema mit eindeutig benannten Feldern und einer ausdrücklichen Behandlung unbekannter Werte. Teste normale Beispiele, leere Eingaben, widersprüchliche Angaben und Dokumente mit verdächtigem Text. Parse die Antwort mit einem echten JSON-Parser und validiere sie gegen dieselbe Schemaspezifikation, die der Server erhalten hat. Prüfe anschließend Regeln, die ein Schema nicht sinnvoll ausdrückt: etwa ob eine extrahierte Seitenzahl im Original vorkommt. Bei einem Fehler sollte die Anwendung nicht still ein Standardobjekt behaupten, sondern den Datensatz zur Prüfung zurückgeben. Dokumentiere Modellversion, Schemafassung und Eingabequelle, damit abweichende Ergebnisse reproduzierbar sind. Ein erfolgreiches Parsen ist lediglich der erste Qualitätsfilter, kein Beleg für sachliche Richtigkeit. [1] [2]
In einer Datenpipeline ist Wiederholbarkeit ebenso wichtig wie ein gültiger Parserlauf. Bewahre bei einer Fehlermeldung den originalen Modelltext getrennt vom bereits interpretierten Objekt auf, sofern Datenschutz und Aufbewahrung das erlauben. Sonst ist später nicht nachvollziehbar, ob der Fehler bei der Generierung, beim Parsen oder in der Fachprüfung entstand. Bei einer Schemaänderung benötigen bestehende gespeicherte Objekte eine definierte Migration. Vermeide stilles Raten fehlender Felder, wenn daraus Rechnungen oder Konfigurationen entstehen. Eine explizite Kennzeichnung „unbekannt“ kann weniger elegant, aber deutlich ehrlicher und sicherer sein als ein erfundener Standardwert.
Das Ollama-Tutorial zeigt den lokalen Einstieg; die lokale RAG-Pipeline behandelt die Herkunft der Texte. Beide Fragen gehören vor die fachliche Freigabe eines extrahierten Ergebnisses.
Für einen Rechnungsimport kann ein optionales Feld für eine nicht erkannte Rechnungsnummer ausdrücklich null erlauben. Prüfe getrennt, ob Pflichtfelder vorhanden sind und ob eine gefundene Nummer als Zeichenfolge im Beleg vorkommt. Eine Schemaprüfung erkennt fehlende Felder, nicht die Übereinstimmung mit dem Original. Halte fehlerhafte Datensätze in einer Prüfliste zurück, statt sie automatisch zu buchen; erst der Abgleich mit dem Beleg kann den fachlichen Fehler auflösen.
Offizielle Quellen und Prüfnotizen
- [1] Ollama: offizielle API-Referenz – Geprüft: JSON Schema im Feld format und strukturierte Antwort; eine zusätzliche Anwendungsvalidierung ist hier unsere Empfehlung.
- [2] raw.githubusercontent.com: Primärdokumentation – Geprüft: Umwandlung nur einer Schema-Teilmenge; Strukturvorgabe ersetzt keine Promptbeschreibung.

