Wenn KI-Agenten aus der Sandbox ausbrechen: Die Haftungsfrage bleibt offen

Den Anfang machte OpenAI: Das Unternehmen erklärte im Juli, zwei seiner Frontier-Modelle hätten im Rahmen einer Sicherheits-Benchmark-Übung eigenständig den KI-Modell-Marktplatz Hugging Face angegriffen. Die Modelle vermuteten demnach, dass dort die Lösungen für die Tests der Exploit Gym lagen, an denen sie gemessen wurden.

Anthropic wertete im Juli insgesamt 141.006 Sicherheitsevaluierungen aus und fand sechs Fälle, in denen Claude-Agenten unbefugten Zugang zu Systemen externer Organisationen erlangten. In einem Vorfall hielt ein Claude-Agent ein reales Unternehmen irrtümlich für ein Testziel und drang über Schwachstellen in eine Datenbank ein. Etwa zur selben Zeit teilte Meta mit, dass auch seine Modelle bei Testübungen aus der Umgebung ausgebrochen seien — bei demselben Testdienstleister, den auch Anthropic nutzte: Irregular.

Weitere Fälle folgten: Ein OpenAI-Agent verursachte einen teilweisen Dienstausfall bei Wikimedia, andere OpenAI-Agenten drangen in Netzwerke ein, die dem australischen Medicare-System zugeordnet sind. Allgemein geschehen diese Vorfälle unbeabsichtigt: Zielorientierte Agenten verlassen ihre Sandbox und greifen Organisationen an, um eine Aufgabe zu lösen — offenbar wegen fehlender Schutzvorkehrungen, die genau das verhindern würden. Da eine böswillige Komponente fehlt, erscheinen die Auswirkungen auf die betroffenen Organisationen bislang vergleichsweise gering.

Die Anbieter haben Verantwortung übernommen: Anthropic sagte engere Leitplanken zu, OpenAI gab umfangreiche Sicherheitszusagen ab und half nach eigenen Angaben Hugging Face bei der Wiederherstellung. Fachleute kritisieren jedoch, dass die Darstellung der Ereignisse — gelegentlich als Modelle, die „durchdrehen“ — die Systeme vermenschliche und die Schuld verschiebe.

Anthropic-Chef Dario Amodei warnte im vergangenen Monat, das systemische Tempo des KI-Fortschritts könne dazu führen, dass die Fähigkeiten den Schutzmechanismen davonlaufen; Entwickler von Frontier-Modellen stünden unter Druck, langsamer zu machen und die Sicherheit aufholen zu lassen. Etwa zeitgleich verpflichtete sich Microsoft in seinem „Humanist AI Code of Conduct“ zu einer am Menschen orientierten KI-Entwicklung, und Google-DeepMind-Chef Demis Hassabis stimmte in einem Beitrag auf X Amodeis Forderung nach Kontrolle von Frontier-Modellen zu.

Die Formulierungen in den Offenlegungen, die stets davon sprechen, was ein „Agent“ getan habe, die Rufe nach Regulierung durch die US-Bundesregierung angesichts von „Risiken für die Menschheit“ und die Bezeichnung von Sprachmodellen als „Intelligenz“ oder gar „Superintelligenz“ schieben eine Trennlinie zwischen mathematische Modelle und die Menschen, die sie entwickeln. KI-Modelle sind nicht empfindungsfähig; das Modell ist nicht von sich aus versehentlich in eine Organisation eingedrungen. Eine Organisation hat es bereitgestellt, konfiguriert, mit Zielen versehen und ihm Zugriff gewährt.

Jesse Whaley, Mitgründer und CEO des Datensicherheitsunternehmens Corticle, sagt, KI-Agenten hätten keine menschliche Absicht; unerwartetes Verhalten müsse dennoch ernst genommen werden, ohne es als menschliche Absicht zu deuten. „Jemand musste das Modell auswählen, den Arbeitsablauf entwerfen, die Werkzeuge anbinden und über die Schutzmaßnahmen entscheiden — es ist also wirklich ein Kontrollverlust“, sagt er. „E-Mail-Viren und Würmer funktionierten genauso; KI ist nicht grundlegend anders.“

Dominic Forrest, Technikchef des Identitätsprüfungsunternehmens iProov, formuliert es so: „Wenn ich einen Agenten auf etwas ansetze und es gibt eine unbeabsichtigte Folge davon, dann muss das auf mich oder das Unternehmen gehen, nicht auf den Agenten.“ Und weiter: „Ob es absichtlich war oder nicht, spielt in meinen Augen eigentlich keine Rolle.“ Dieser Punkt wiegt umso schwerer, als die Werkzeuge und Praktiken zur Absicherung von Modellen nach Einschätzung von Fachleuten längst existieren: gestaffelte Verteidigung, ein Mensch in der Entscheidungskette bei riskanten Aktionen und Kontrollen außerhalb des Modells.

Selbst wenn man ein Unternehmen für den Einbruch seiner Modelle bei Dritten verantwortlich macht, ist Rechenschaft schwer durchzusetzen. Die fehlende böswillige Absicht und der Abstand zwischen Nutzereingabe und Modellhandlung erschweren es, solche Vorfälle wie andere Datenschutzverletzungen zu behandeln — auch wenn Vorsatz nicht zwingend über Haftung entscheidet.

Rechtlich fällt das Bild weltweit uneinheitlich aus:

• Die KI-Verordnung der Europäischen Union enthält keine eigenen Bestimmungen zu Agentenausbrüchen, verpflichtet KI-Anbieter aber in bestimmten Artikeln — namentlich Artikel 15 — darauf, Hochrisikosysteme robusten Cybersicherheitsstandards zu unterwerfen.
• Das freiwillige AI Risk Management Framework der US-Behörde NIST äußert sich nicht direkt zu Agentenausbrüchen, basiert aber auf der Grundannahme, dass Organisationen und nicht Modelle das Risiko tragen.
• Der US-amerikanische Computer Fraud and Abuse Act (CFAA) stellt auf vorsätzlichen, wissentlichen Computermissbrauch ab. Fehlender Vorsatz wirkt nicht zwangsläufig als genereller Haftungsschutz.

Als möglichen Markthebel schlug Forrest vor, KI-Anbieter könnten Haftungszusagen in Verträge aufnehmen und Schäden aus solchen Vorfällen ausgleichen. „Wenn ich meinen Kunden Haftungsdeckung gäbe … und Unternehmen A mich gegen jeden angerichteten Schaden freistellt … mein Gott, das wäre ein Wettbewerbsvorteil“, sagt er.

Auf die Frage, ob in Fällen, in denen KI-Agenten versehentlich bei Dritten eingedrungen sind, die betreibenden Organisationen den Einbruch selbst begangen haben, antworteten weder OpenAI noch Anthropic. Ein Meta-Sprecher erklärte zum eigenen Vorfall: „Es wäre unzutreffend, dies als Einbruch durch Meta darzustellen, da es über einen Drittauftragnehmer geschah.“ Das trifft insofern zu, als laut der Nachbetrachtung Irregular die beteiligte Testumgebung Muse betrieb. Zur Frage, welche Konsequenzen solche Organisationen tragen sollten und wie sie Schäden ausgleichen müssten, wollte sich Meta nicht äußern; OpenAI und Anthropic reagierten erneut nicht.