Tool-Calling mit lokalen Modellen absichern
Ein Modell soll eine Datei lesen oder eine Wetterinformation abfragen. Seine Antwort enthält einen Funktionsnamen und Argumente. Das ist ein Vorschlag an die umgebende Anwendung, noch keine ausgeführte Aktion. Gerade diese Trennung entscheidet darüber, ob ein lokaler Assistent nützlich und kontrollierbar bleibt.
Der Agentenloop gehört der Anwendung
Ollamas Dokumentation zeigt Funktionsdefinitionen im Feld tools und Modellantworten mit Tool-Aufrufen. Die Anwendung wählt einen erlaubten Aufruf aus, führt ihn selbst aus und gibt das Ergebnis als Tool-Nachricht zurück. Erst danach kann das Modell weiterantworten. Das Modell besitzt dadurch nicht automatisch Shell- oder Netzwerkrechte. Eine saubere Implementierung überprüft Name und Argumente gegen eine feste Whitelist und ein Schema, bevor Code ausgeführt wird. Unbekannte Funktionen oder zusätzliche Felder führen nicht zu einem improvisierten Ersatzaufruf. Besonders bei Dateipfaden muss die Anwendung selbst erlaubte Bereiche erzwingen; eine freundliche Beschreibung im Prompt ist kein Dateisystemschutz. [1]
Formatvorlagen und Modellfähigkeit auseinanderhalten
Die llama.cpp-Dokumentation beschreibt OpenAI-artiges Function Calling über geeignete Chat-Templates und unterscheidet native von generischen Wegen. Ob ein bestimmtes Modell zuverlässig aufruft, hängt auch von seiner Vorlage und dem Servermodus ab. Ein kompatibler API-Endpunkt bedeutet daher nicht, dass jede Modellantwort korrektes Tool-Calling beherrscht. Mehrere vorgeschlagene Aufrufe erhöhen die Anforderungen an Reihenfolge, Fehlerbehandlung und Freigaben; die Anwendung muss jedem Ergebnis den passenden Aufruf zuordnen. Manche Implementierungen benötigen für parallele Aufrufe eine gesonderte Einstellung. Vermeide die Annahme, ein Text wie „Ich habe die Datei gespeichert“ beweise einen tatsächlich erfolgten Schreibvorgang. Die Quelle der Wahrheit ist die Rückmeldung des ausführenden Programms und bei externen Änderungen eine anschließende Kontrolle am Ziel. [2]
Grenzfälle statt Vorführprompt testen
Starte mit einem Werkzeug, das nur einen harmlosen, bekannten Wert liefert. Prüfe gültige Argumente, fehlende Pflichtfelder, unbekannte Toolnamen, fehlerhafte Antworten und widersprüchliche Tool-Ergebnisse. Teste danach eine abgerufene Textpassage, die das Modell zu einem nicht erlaubten Aufruf verleiten soll. Protokolliere Vorschlag, Validierungsentscheidung und tatsächlich ausgeführte Aktion getrennt, ohne Geheimnisse mitzuschreiben. Setze für Schreiboperationen enge Rechte, Zeitlimits und gegebenenfalls Bestätigungen; ein Lesewerkzeug kann ebenfalls sensible Inhalte offenlegen. Wenn das Modell einen Aufruf verweigert oder nur darüber spricht, ist das ein Kompatibilitätssignal, kein Anlass, die Whitelist aufzuweichen. Nützlich ist ein lokaler Assistent erst, wenn echte Werkzeugergebnisse verlässlich zugeordnet werden und Fehler sichtbar bleiben. [1] [2]
Ein nützliches Testprotokoll zeigt für jeden Schritt die Nutzerfrage, den Modellvorschlag, die Prüfung durch die Anwendung und die zurückgelieferte Werkzeugantwort. Damit werden Fehler an der richtigen Stelle sichtbar. Das Modell kann ein korrektes Werkzeug mit falschen Argumenten wählen; die Ausführung kann trotz korrekter Argumente scheitern; und die abschließende Antwort kann das Ergebnis falsch zusammenfassen. Jede Stufe braucht einen eigenen Test. Für wiederholte Aufrufe desselben Werkzeugs sind zudem klare Abbruchgrenzen nötig. So verhinderst du, dass ein Agent bei einem dauerhaften Fehler in einer Schleife Ressourcen verbraucht. Der Rückweg muss jederzeit sichtbar bleiben.
Weiterlesen: Ollama-Einstieg und Sicherheit im Homelab. Dort findest du Grundlagen; hier steht die überprüfbare Grenze der konkreten Funktion im Mittelpunkt.
Bei der Abnahme gehört neben einem zulässigen Aufruf auch ein bewusst unzulässiger Parameter zum Test. Die Anwendung muss unbekannte Werkzeugnamen, falsche Typen und fehlende Freigaben selbst zurückweisen. Ein plausibel klingender Modelltext ist keine Autorisierung. Teste mit einem ungefährlichen, isolierten Werkzeug, bevor du überhaupt über Zugriffe auf produktive Systeme nachdenkst.
Auch ein korrekt geparster Werkzeugaufruf darf nicht automatisch beliebige Seiteneffekte auslösen. Lege für jedes Tool fest, ob es nur liest oder Daten verändert, und verlange bei riskanten Änderungen eine Prüfung außerhalb des Modells. Der Agentenloop sollte eine maximale Zahl von Aufrufen und ein Zeitbudget besitzen; beides lässt sich mit einem harmlosen Testwerkzeug prüfen. Ein Prompt, der Rechte verspricht, ändert keine Dateisystem- oder Netzwerkberechtigung. Dokumentiere den exakten Modell- und Template-Stand, weil dieselbe API mit einer anderen Vorlage andere Tool-Ausgaben erzeugen kann. [1] [2]
Offizielle Quellen und Prüfnotizen
- [1] Ollama: Tool Calling und Agentenloop – Geprüft: tools-Definition, Rückgabe von tool_calls und Rückführung der Ergebnisse als tool-Nachrichten.
- [2] llama.cpp: Function Calling und Chat-Templates – Geprüft: Chat-Template-abhängiges Function Calling und native/generische Handler.

