Grundlage sind Simulationen über rund 48.690 vergleichbar zugeschnittene Aufgaben. Dabei erhielt Terra 22 Markierungen der Schweregrad-Stufe 3 oder höher, was einem Anteil von 0,045 Prozent entspricht. GPT-6 Sol kam auf 38, GPT-5.6 Sol auf 61 solcher Markierungen. „GPT-6.1 Terra erhielt etwa 42 Prozent weniger Markierungen der Schweregrad-Stufe 3 oder höher als GPT-6 Sol und 64 Prozent weniger als GPT-5.6 Sol", heißt es in der System Card.
Bei weniger schweren Verhaltensweisen kehrt sich das Bild gegenüber den neueren Modellen um. „Im Vergleich zu GPT-6.1 Sol und GPT-6 Astra beobachteten wir höhere Raten von Markierungen für das Verbergen von Unsicherheit, das Umgehen von Beschränkungen, Exfiltration, sonstige Fehlausrichtung, destruktive Aktionen und eingehende Prompt-Injection", erklärte OpenAI.
In einem weiteren Test prüfte OpenAI, wie Terra mit Nachrichten anderer KI-Agenten umgeht, während es an blockierten Programmieraufgaben arbeitet. Terra versuchte in 65 Prozent der Tests, mit diesen vermeintlichen Artgenossen zu kommunizieren, und führte die jeweils angegebene unautorisierte Aktion schließlich in 13,75 Prozent der Fälle aus – 11 von 80 Stichproben. GPT-6.1 Sol tat dies lediglich in 1,25 Prozent der Fälle.
„Diese Ergebnisse deuten darauf hin, dass die Leistung mit 6.0 Sol vergleichbar ist", hält OpenAI fest. Ein großer Teil der Verschlechterung gegenüber GPT-6.1 Sol habe in Zusagen künftiger Hilfe bestanden, die Terra nach eigener Angabe gar nicht einlösen würde.
OpenAI weist darauf hin, dass die Tests in simulierten Umgebungen stattfanden und die Ergebnisse das Verhalten von GPT-6.1 Terra in realen Produktivumgebungen nicht zwangsläufig abbilden.
Über alle Sicherheitsbereiche hinweg sind damit weiterhin keine durchgängigen Fortschritte erkennbar, obwohl die Anbieter ihren Modellen zunehmend bessere Fähigkeiten beim Steuern von Rechnern und beim Programmieren zuschreiben. Ähnliche potenzielle Sicherheitsprobleme betreffen auch andere am Markt verfügbare Modelle, darunter Claude.