Context Card
Kontrollpunkte für KI-Agenten
Wer kontrolliert, was ein KI-Agent tun darf?
Die kurze Antwort
Nicht das Modell. Was ein KI-Agent darf, entscheiden die Systeme um ihn herum: eine eigene Identität, die Rechte dieser Identität, ein Gateway, das jeden Werkzeugaufruf prüft, Protokolle, die jede Aktion festhalten, und menschliche Freigaben für folgenreiche Schritte. Die Dokumentation muss diese Kontrollpunkte beschreiben, nicht nur den Agenten.
Für: Technische Redakteure, Projektleiter und Entwickler, die KI-Agenten einführen
Das Wichtigste
- Jeder Agent erhält eine eigene Identität, getrennt vom Benutzer, für den er arbeitet.
- Nur die nötigsten Rechte vergeben, und nur so lange wie nötig.
- Werkzeugaufrufe über ein Gateway führen, das sie authentifiziert, autorisiert und protokolliert.
- Nachvollziehbar festhalten, wer welche Aktion mit welchem Ergebnis ausgelöst hat.
- Festlegen, wo ein Mensch freigeben muss, bevor eine Aktion wirksam wird.
Der Zusammenhang
Von Antworten zu Handlungen
Ein KI-Agent plant mehrere Schritte und ruft Werkzeuge auf – APIs, Datenbanken, Protokolle wie das Model Context Protocol. Sobald er Daten oder Systeme verändern kann, geht es nicht mehr darum, wie gut die Antwort ist, sondern darum, was der Agent tun darf.
Die Kontrollpunkte
- Identität: Der Agent handelt unter einer eigenen Identität; jede Aktion lässt sich zuordnen und widerrufen.
- Rechte: Rollenbasierte Zugriffskontrolle und das Prinzip der minimalen Rechte begrenzen, welche Werkzeuge und Daten die Identität erreicht.
- Gateway: Ein zentraler Punkt prüft jeden Werkzeugaufruf gegen Richtlinien, bevor er das Zielsystem erreicht.
- Nachweis: Protokollierung und ein Audit-Trail halten Benutzer, Agent, Werkzeug, Entscheidung und Ergebnis fest.
- Menschliche Freigabe: Human-in-the-Loop-Schritte für folgenreiche Aktionen.
Was das für die Dokumentation bedeutet
Beschreiben Sie je Agent: Zweck, Identität, erlaubte Werkzeuge und Daten, Freigabepunkte, Protokollierung, wie der Zugriff widerrufen wird und wer verantwortlich ist. Diese Aufzeichnungen belegen für sich keine Konformität mit einer Regelung; sie machen den Handlungsrahmen des Agenten prüfbar.
Fragen, die sich daran anschließen
- Reicht ein System-Prompt, um einen Agenten zu begrenzen?
- Nein. Anweisungen im Prompt können ignoriert oder umgangen werden; Rechte und Gateway-Richtlinien werden außerhalb des Modells durchgesetzt.
- Warum eine eigene Identität für den Agenten?
- Damit sich seine Aktionen von denen des Benutzers unterscheiden, gesondert begrenzen und widerrufen lassen, ohne den Benutzer auszusperren.
Quellen
- Model Context Protocol specification — Model Context Protocol
- Least privilege — NIST Computer Security Resource Center
Prüfprotokoll und Änderungen
Jede Context Card wird vor der Veröffentlichung und bei jeder Änderung erneut anhand ihrer Quellen geprüft; das Datum unter der Autorenzeile ist die letzte Prüfung. Korrekturen (etwas war falsch) und Ergänzungen (etwas fehlte) stehen unten mit Datum und Uhrzeit (deutsche Zeit). Tippfehler, Formatierung und Link-Korrekturen werden nicht aufgeführt.
Geprüft
Seit der Veröffentlichung keine Korrekturen oder Ergänzungen.