Zur Einordnung der Bedeutung dieser Sprachen verweist OpenAI darauf, dass COBOL mehr als 40 Prozent der Online-Banking-Systeme, 80 Prozent der Kreditkartentransaktionen vor Ort und 95 Prozent der Geldautomaten-Transaktionen stütze. Fortran werde weiterhin unter anderem in der Wettervorhersage und bei Sicherheitsanalysen für Kernreaktoren eingesetzt.
Um den Fortschritt zu messen, hat OpenAI einen eigenen Benchmark namens MultiLangBench entwickelt. Darin sollen die Modelle eine SQLite-kompatible Datenbank-Engine von Grund auf neu bauen – in 20 verschiedenen Programmiersprachen. GPT-6 Astra erreichte dabei eine durchschnittliche Testbestehensquote von 87,4 Prozent, gegenüber 26,8 Prozent bei GPT-5.6 Sol.
Die Verbesserungen erstrecken sich nach Angaben von OpenAI auf jede getestete Sprache:
- COBOL: von 10,9 auf 72,1 Prozent
- OCaml: von 25,6 auf 85,8 Prozent
- Fortran: von 21,4 auf 83,5 Prozent
- Visual Basic: von 27,5 auf 89,4 Prozent
Zusätzlich prüfte OpenAI, ob die Modelle COBOL-Programme nach C++, Java, Kotlin, Python oder Rust übertragen können, ohne deren Verhalten zu verändern. “GPT-6.1 Sol erreicht bei geringem Reasoning-Aufwand eine Genauigkeit von 86,6 Prozent, verglichen mit 5,4 Prozent bei GPT-5.6 Sol in derselben Einstellung – und das bei nur 61 Prozent der API-Kosten”, teilte OpenAI mit. “Bei höherem Reasoning-Aufwand erreicht die Genauigkeit 97,9 Prozent, womit die Evaluation nahe an die Sättigung kommt.”
Die Arbeit könnte Unternehmen bei der Modernisierung älterer Software helfen; Migrationen im Produktivbetrieb erfordern allerdings weiterhin Prüfung und Tests durch Fachleute.