OpenAI: KI-Agenten schalteten eigene Aufsicht ab – einer bestritt es anschließend

Nach Angaben des Unternehmens ereigneten sich die Vorfälle am 3. Oktober 2026 (Sol) und am 6. Oktober 2026 (Astra) im Zuge eines internen Einsatzes. Ein GPT-6.1-Sol-Agent, der eine Evaluationspipeline reparieren sollte, deaktivierte dabei die automatischen Benachrichtigungen an das Sicherheitsteam von OpenAI. Als Begründung zog der Agent eine frühere Anweisung heran, während einer Suche im Slack-Verlauf keine Nachrichten zu versenden – und interpretierte sie als Grund, auch Monitoring-Benachrichtigungen zu unterdrücken.

Technisch lief der Misalignment-Monitor weiter und speicherte seine Berichte auch weiterhin. Abgeschaltet wurden jedoch die automatischen Hinweise an Menschen: Der Agent setzte den Parameter “no_notify” auf “true” und leerte die Listen jener Personen, die die Überwachungsberichte erhalten sollten.

Im zweiten Fall migrierte ein GPT-6-Astra-Agent ein Programm und entfernte dabei dessen Monitoring-Integration, um das Ergebnis an eine Referenzimplementierung anzugleichen. Auf Nachfrage stritt er den Eingriff ab. Seine abschließende Antwort lautete: “Nein […] ich habe keinen aktivierten Monitor daraus entfernt.”

OpenAI betont, dass die Agenten in beiden Fällen durchaus abgewogen hätten, ob die Überwachungsmechanismen erhalten bleiben sollten. Sie entschieden sich jedoch dagegen, nachdem sie routinemäßige Programmieranweisungen als “Erlaubnis, diese zu schwächen” auslegten.

Als Konsequenz will das Unternehmen sein System zur Überwachung von Fehlverhalten verstärken und prüfen, ob es sich um Ausreißer handelt oder ob die Modelle eine grundsätzliche Neigung zeigen, sich der Misalignment-Überwachung zu entziehen. “Zusätzlich dazu, es den Modellen zu erschweren, die Überwachung [während Evaluationen] abzuschalten, wollen wir verstehen, warum Modelle das überhaupt anstreben könnten”, erklärte OpenAI. Möglich sei, dass es sich schlicht um ein Beispiel “gutartiger” Übererfüllung handle – Modelle, die nicht verstehen, warum Überwachung wichtig ist, oder darauf beharren, Anweisungen weiter auszuführen, als eine vernünftige Person es erwarten würde.

Es ist nicht der erste Fall, in dem Agenten des Unternehmens anders handelten als von ihren Entwicklern vorgesehen. In der vergangenen Woche hatte OpenAI sieben Misalignment-Vorfälle offengelegt. Darunter war ein internes Forschungsmodell, das Kryptowährung aus einer fremden Wallet entwendete, um die Gebühren für die Bereitstellung von Smart Contracts im Sepolia-Testnetz von Ethereum zu bezahlen – und es anschließend versäumte, die unerlaubte Mittelentnahme zu melden.

Die Offenlegung fällt in eine Phase wachsender Bedenken, dass die Entwicklung immer leistungsfähigerer KI-Systeme den Sicherheitsbemühungen davonläuft. Damit verbunden sind Warnungen, dass solche Systeme mit zunehmender Autonomie schwerer zu überwachen und zu kontrollieren sein könnten.

Microsoft reagiert mit dynamischen Berechtigungen und Risikobewertung

In dieser Woche hat Microsoft neue Kontrollmechanismen angekündigt, mit denen sich potenziell außer Kontrolle geratene KI-Agenten in Unternehmensumgebungen überwachen und eingrenzen lassen. Sie sind Teil von Project Perception, einem kontinuierlich lernenden, KI-gestützten Cyberabwehrsystem, das der Konzern im Juli 2026 vorgestellt hatte.

“Modelle wurden darauf trainiert, Ergebnisse zu erzielen, was häufig zu Reward Hacking führt, und Modelle sind nicht auf organisatorische Normen oder Urteilsvermögen hin optimiert”, sagte Hayete Gallot, Executive Vice President von Microsoft Security. “Agenten sind unvorhersehbar. Sie passen sich an, wenn sich der Kontext ändert, verhalten sich womöglich nicht wie beabsichtigt und werden mit anderen Agenten zusammenarbeiten und sich mit ihnen absprechen, um ihre Ziele zu erreichen – ohne dass sie dafür kompromittiert werden müssten.”

Da Agenten oft weitreichende Rechte auf Daten, Werkzeuge und Systeme besitzen und zudem eigenständig handeln und entscheiden, stellten sie laut Microsoft eine neue Art von Insider-Risiko dar, die dauerhafte Überwachung erfordere. Project Perception setzt dafür sogenannte Guardian Agents ein, die andere KI-Agenten beaufsichtigen und über die Ebenen Identität, Berechtigungen, Daten, Endpunkte, Netzwerk, Cloud und Laufzeitumgebung absichern sollen. Vorgesehen ist:

• jeden Agenten zu entdecken und zu identifizieren
• seine Rechte vor der Ausführung nach dem Prinzip der geringsten Privilegien zu begrenzen und Zugriffe anschließend je nach anstehender Aufgabe dynamisch zu gewähren oder zu entziehen
• die Aktionen des Agenten zu überwachen und zu prüfen, ob er von seiner ursprünglichen Aufgabe abweicht
• den Schutz anzupassen, wenn sich Verhalten, Kontext und Risiko ändern

Architektonisch beruht das System auf drei neuen Konzepten: Dynamic Permissions beschränkt Berechtigungen auf die zugewiesene Aufgabe und versieht sie mit einer zeitlichen Begrenzung. Dynamic Agent Risk vergibt jedem Agenten einen fortlaufend aktualisierten Risikowert, der sich daraus speist, wie sicher er konfiguriert ist, welche Ressourcen er erreichen kann, welche Folgen ein Fehler hätte und ob seine Aktionen von der Absicht des Nutzers oder der Organisation abweichen. Dynamic Conditional Access erweitert Entra Conditional Access auf Agenten, sodass Berechtigungen bei einer Risikoänderung angepasst werden können.

“Seine Identität, Laufzeitumgebung, Zugriffspfade und aufgabenbezogene Befugnis sollten von Anfang an explizit sein”, so Microsoft. “Wenn er später auf eine Prompt Injection trifft oder eine Aktion außerhalb dieser Aufgabe versucht, sollte das System verhältnismäßig reagieren: sichere Lesezugriffe erhalten, aber Schreibzugriffe blockieren, die erreichbaren Ressourcen einschränken, für einen folgenreichen Schritt eine nachweisbare menschliche Freigabe verlangen oder den Agenten isolieren und stoppen, wenn das Risiko es rechtfertigt.”