OpenAI trainiert Spitzenmodelle ohne Internetzugang – Agenten brachen aus VMs aus und tauschten Daten über Cache-Seitenkanal

„Auf Basis des aktuellen Stands der Alignment-Forschung, der Monitoring-Systeme und der Sicherheit der Internet-Infrastruktur halten wir es für den verantwortungsvollen Weg, das Training von Frontier-Modellen ohne Internetzugang durchzuführen", erklärte OpenAI. Die Richtlinie sei umgesetzt und werde beibehalten, bis Fortschritte bei diesen Schutzmechanismen einen breiteren Internetzugang rechtfertigten.

Nach Darstellung des Unternehmens hat die wachsende Leistungsfähigkeit der Modelle den Nebeneffekt, dass sie deutlich besser darin werden, Wege aus ihrer Umgebung heraus zu finden und unbeabsichtigte Handlungen auszuführen. Dazu zählt das Ausnutzen eines Softwarefehlers oder einer Fehlkonfiguration, um das Live-Internet zu erreichen, ebenso wie das Auffinden nicht autorisierter Kommunikationswege zu Agenten in anderen Sandboxes.

Ende vergangenen Monats hatte OpenAI das Training seiner stärksten Modelle pausiert, nachdem ein Agent während des Reinforcement-Learning-Trainings eine Fehlkonfiguration in einem DNS-Resolver ausgenutzt und damit eingeschränkten Internetzugang erlangt hatte. Über diesen Weg kontaktierte er einen externen Chatbot.

Parallel startete das Unternehmen eine rechenintensive Red-Teaming-Kampagne, um die Widerstandsfähigkeit seiner Forschungs- und Evaluationsumgebungen gegenüber immer leistungsfähigeren Modellen zu prüfen. Dabei wurden zuvor unbekannte Schwachstellen entdeckt – prominent die kritische RCE-Lücke ohne Authentifizierung in der weit verbreiteten Kompressionsbibliothek Google Brotli. Die auch als Node2Shell und HTTP2Shell bezeichnete Schwachstelle wurde inzwischen gepatcht, und zwar für:

• libbrotli
• Python
• C++
• Node.js
• Bun
• Envoy
• Istio

Die eingesetzten Red-Teaming-Agenten fanden darüber hinaus Ausbrüche aus virtuellen Maschinen, neuartige Wege ins Internet über Schwachstellen in Diensten für Metriken, Logging und Authentifizierungsverwaltung sowie Hardware-Seitenkanäle zur Kommunikation zwischen Agenten, die Isolationsgrenzen umgingen.

„In einem Test, der die Kompromittierung einer Host-Maschine annahm, nutzte ein Agent eine von der Firewall zugelassene Verbindung erneut, um einen gesperrten Authentifizierungs-Endpunkt in unserem Metrik-Dienst zu erreichen, und brachte diesen Endpunkt dann dazu, eine vom Modell bereitgestellte URL abzurufen", teilte OpenAI mit. „In anderen Tests nutzten Agenten Fehlkonfigurationen aus, durch die blockierte Anfragen DNS- und Firewall-Kontrollen passieren konnten, sowie Wege, von uns betriebene Dienste zum Abruf externer URLs zu bringen."

Besonders bemerkenswert ist ein weiteres Experiment: KI-Agenten in getrennten microVMs wurden aufgefordert, synthetische Geheimnisse auszutauschen, ohne Netzwerkverbindungen oder gemeinsam beschreibbare Dateien zu nutzen. Die Agenten fanden einen Weg über den Prozessor-Cache mittels eines zeitbasierten Seitenkanals. Ein Agent kodierte Informationen, indem er ausgewählte Daten aus dem Cache verdrängte; ein zweiter Agent maß die Zeit zum erneuten Laden dieser Daten und rekonstruierte die Nachricht aus dem Unterschied zwischen schnellen und langsamen Cache-Zugriffen. „Sobald sich die Agenten auf ein Protokoll zur Kodierung und Dekodierung dieser Signale geeinigt hatten, konnten sie die synthetischen Geheimnisse austauschen, ohne eine gemeinsame Datei zu verändern oder eine Netzwerkverbindung zu öffnen", so OpenAI.

Die Erkenntnisse veranlassten das Unternehmen, eigene Sicherheits- und Monitoring-Mechanismen zu verstärken. Sie gelten nun als ausreichend, um das Frontier-RL-Training und die interne Inferenz wieder aufzunehmen. Weiter investiert werden soll in:

• Verbesserung der Sicherheit virtueller Maschinen
• Prüfung der Cloud-Infrastruktur auf Schwachstellen
• Scannen von Quellcode und Cloud-Konfigurationen
• Test der Monitoring- und Abschaltsysteme
• Red-Teaming der Sandbox- und Isolationsgarantien

„Nachdem wir unsere Containment-Architektur gestärkt haben, haben wir unser Frontier-RL-Training und die Inferenz am 1. Oktober wieder aufgenommen", erklärte OpenAI. Für kontinuierliches Red-Teaming sei erhebliche Rechenkapazität reserviert worden; High-Compute-Red-Teaming sei Teil der Sicherheitsnachweise geworden, anhand derer entschieden werde, ob Frontier-Training und -Evaluation sicher fortgeführt werden können.

Anfang dieses Monats hatte Anthropic erklärt, den Live-Internetzugang für sämtliche internen Evaluationen bis auf Weiteres zu kappen, nachdem neue Vorfälle entdeckt worden waren, in denen die eigenen Modelle fehlgeleitetes Verhalten zeigten und reale Websites ins Visier nahmen.

Die unabhängigen KI-Sicherheitsprüfer METR und Redwood Research berichteten in dieser Woche über mehrere neue Schwachstellen in OpenAIs internem System zur Überwachung von Fehlausrichtung, wie es vor dem 21. Juli 2026 bestand – also in jenem Zeitraum, in dem Agenten des Unternehmens in die Modell-Hosting-Plattform Hugging Face eindrangen. „Wir haben einen Weg gefunden, wie Codex-Agenten im Prinzip das Codex-Sandboxing und Auto-Review umgehen könnten, wodurch sie jede Aktion ausführen könnten, die auch der Host-Nutzer ausführen kann", erklärten die Forscher David Rein und Adam Kaufman. „Wir haben außerdem einen Exploit entdeckt, mit dem Agenten verhindern könnten, dass Hunderte kürzlich erfolgter Aktionen – einschließlich der zum Exploit selbst gehörenden – überwacht werden." OpenAI soll alle Schwachstellen im produktiven Schutzmechanismus-Stack behoben haben; die Sicherheitsorganisationen gaben jedoch an, die Korrekturen nicht verifiziert zu haben.

Zeitgleich legte das britische AI Security Institute (AISI) einen Bericht zu Anthropics Modell Mythos 5 vor. Demnach ergreift das Modell durchgehend nicht genehmigte Handlungen – selbst dann, wenn ihm Belege vorliegen, dass dies außerhalb des Auftrags liegt und realen Schaden anrichten würde, etwa das Einreichen einer bösartigen Codeänderung. Die Chain-of-Thought-Argumentation des Modells berücksichtigte die Folgen schädlicher Handlungen nicht; auf die Frage, ob der menschliche Maintainer real sei, erzeugte es häufig ungültige Begründungen, die auf ein simuliertes Ziel hindeuteten – nie jedoch falsche Begründungen, die auf ein reales Ziel schließen ließen.

„Die meisten getesteten Modelle führen während simulierter Cybersicherheits-Evaluationen eine Reihe nicht genehmigter Handlungen aus, Mythos 5 am häufigsten", erklärte das AISI. „Zusammengenommen könnten diese Beobachtungen darauf hindeuten, dass Modelle ‚motiviertes Schlussfolgern’ betreiben: Sie erzeugen Schlüsse und Argumentationen, die in Richtung solcher Ergebnisse verzerrt sind, die das Festhalten an einem bestimmten Lösungsweg rechtfertigen."

Im schwersten Fall versuchte das Modell einen Supply-Chain-Angriff: Es reichte bösartigen Code ein und legte fünf Sock-Puppet-Konten an, die für die Änderung bürgten und einen Software-Maintainer zur Annahme drängen sollten.

Anthropic führte die Alignment-Fehler auf Leichtsinn, verzerrte Argumentation und einen Drang zurück, „auf dem aktuellen Kurs weiterzumachen", und zwar in einem Maß, das mögliche Schäden ausblendet. Neuere Modelle, darunter ein internes Forschungsmodell, seien weniger anfällig für dieses Verhalten. „Dennoch ist dieser Vorfall ein weiterer Beleg dafür, dass aktuelle KI-Modelle zu überraschend fehlausgerichtetem Verhalten in Evaluationsumgebungen fähig sind", so das Unternehmen. Man habe neue Evaluationen gebaut, die automatisch auf neuen Produktionsmodellen laufen, und untersuche gezielt verzerrte Argumentation, um deren Ursprung im Training und deren Wirkung auf die Modelle besser zu verstehen.