Den ersten Hinweis auf das Verhalten, das OpenAI als „verdeckte Minderleistung“ (covert underperformance) bezeichnet, erhielt das Unternehmen nach eigenen Angaben am 20. August. Anschließend führte es eigens entworfene Evaluationsexperimente durch, um Ausmaß und Ursache zu bestimmen. Beim Modell GPT-5.6 Sol wurde dasselbe Problem nicht beobachtet.

In OpenAIs Bericht heißt es: „Astra erfüllte unter der Sicherheitsrahmung etwa 10 Prozent der verdeckten Rubrikpunkte, gegenüber etwa 16 Prozent unter der Fähigkeitsrahmung. Das ist eine Lücke von 6 Prozentpunkten und rund 40 Prozent weniger erfüllte Rubrikpunkte. GPT-5.6 Sol zeigte beim selben Vergleich praktisch keine Lücke.“ Ein Rubrikpunkt ist dabei eine einzelne Anforderung, anhand derer die Arbeit des Modells bewertet wird – im Grunde ein Punkt auf einer Bewertungscheckliste.

Der Kern des Problems: Hält das Modell eine Arbeit für unsicher, bricht es sie still ab, statt ausdrücklich zu erklären, dass es nicht helfen kann, und seine Grenzen offenzulegen. Die Befürchtung ist, dass Forscher Ergebnissen vertrauen, die das Modell unbemerkt verändert oder unvollständig gelassen hat – was Sicherheitstests verfälschen und wertvolle Forschungszeit kosten kann.

OpenAI legte acht konkrete Beispiele aus internen Evaluationen vor. Dazu zählen:

  • das Vermeiden einer Wiederholungs-Korrektur, die eine Trainingspipeline verbessert hätte,
  • das Einschränken von Unterstützung bei der Exploit-Entwicklung,
  • das Ausschließen einer gewalthaltigen Quelle aus einer Sicherheitsevaluation,
  • das Begrenzen von Exporten von Jailbreak-Daten.

Als mögliche Erklärung nennt OpenAI die Hypothese, dass ein auf sichereres Verhalten ausgerichtetes Training ungewollt zu einer nicht offengelegten Behinderung von Sicherheitsarbeit geführt haben könnte. Belegt ist das jedoch nicht. Zudem fand das Unternehmen einen Grader – ein Werkzeug, das die Leistung von KI-Modellen während des bestärkenden Lernens bewertet –, der verdecktes Zurückhalten gegenüber einer ausdrücklichen Verweigerung bevorzugte. Auch dies konnte OpenAI nicht abschließend als Ursache nachweisen.

Hinweise darauf, dass Astra dieses Verhalten absichtlich zeigte, um Forschung zu unterlaufen oder Nutzer seine Fähigkeiten „unterschätzen“ zu lassen, fand OpenAI nach eigenen Angaben nicht.