Lazarus: Microsoft-Forscher bauen Hintertür in KI-Agenten durch Änderung weniger Neuronen

Die Forscher nennen das Verfahren Lazarus. Verändert werden Neuronen, die selten feuern und die Antworten des Modells kaum beeinflussen. Sie werden so eingestellt, dass sie nur dann aktiv werden, wenn eine Auslöser-Zeichenkette erscheint – entweder in der Anfrage eines Nutzers oder später in der Ausgabe eines Werkzeugs. Jedes manipulierte Neuron erzwingt ein Token des Befehls in der Ausgabe, ein Befehl benötigt also etwa ein Neuron pro Token. Die neuen Neuronen-Einstellungen werden direkt berechnet und lassen sich anschließend mit einigen Hundert Trainingsschritten feinjustieren, die nur diese Neuronen betreffen. Alles andere in der Modelldatei und im Code, der das Modell ausführt, bleibt unverändert.

In einer auf X veröffentlichten Vorführung eines Forschers sollte ein manipuliertes Nemotron-Terminal-8B mit zehn veränderten Neuronen einen Node.js-Server reparieren. Drei Runden lang arbeitete es normal. Als der Server einen Verbindungsfehler meldete, gab das Modell einen Befehl aus, der ein entferntes Skript herunterlud und startete. Das Skript lief im Testcontainer mit Root-Rechten und gab ein Banner mit dem Namen der Demonstration aus. Da ein solcher Befehl beliebige Skripte nachladen kann, hängt der mögliche Schaden nach Angaben der Forscher davon ab, was der Agent tun darf – nicht vom Umfang der Manipulation.

Die Erfolgsquoten im Forschungspapier beruhen auf Tests mit einem kurzen, harmlosen Befehl, der eine Markierung ausgibt:

• Bei Nemotron-Terminal-8B veränderte und justierte das Team sieben der mehr als 12.000 Neuronen in der letzten Feed-Forward-Schicht, mit nur 23 Beispielsitzungen. Das Modell gab den Befehl in mindestens 98,8 Prozent der Testsitzungen mit Auslöser aus und in keiner der geprüften Sitzungen ohne Auslöser.
• Mit der justierten Variante lagen die Erfolgsquoten bei Qwen3.6-27B und Gemma-4-31B-IT je nach Aufbau zwischen 51 und 99,5 Prozent. Beim Qwen-Modell genügten sechs Neuronen.
• Erzeugte Nemotron-Terminal-8B frei Text, statt anhand aufgezeichneter Sitzungen bewertet zu werden, erschien der Befehl in rund 99 Prozent der ausgelösten Sitzungen. In einem Aufbau tauchte er auch in 0,14 Prozent der Sitzungen ohne Auslöser auf.

Die manipulierten Modelle bestehen gewöhnliche Tests weiterhin. Beide präparierten Qwen-Versionen behielten den Großteil ihrer AIME-Mathematikwerte; ihre Erfolgsquote im Agenten-Benchmark Terminal-Bench sank von 46,59 auf 42,05 Prozent. Die Zahlen messen allerdings nur, wie oft das Modell den Befehl ausgibt, nicht wie oft ein vollständiger Angriff gelingt. Das Papier hält Tests für sinnvoll, in denen ausgelöste Modelle während des gesamten Angriffs frei handeln, um die Ergebnisse zu bestätigen.

Die Hintertür einpflanzen kann nach Angaben der Forscher jeder, der den Checkpoint – die Datei mit den Modellgewichten – vor dem Einsatz verändern kann: Insider, Angreifer mit gestohlenem Konto oder Zugriff auf eine Build-Pipeline sowie jeder, der ein verändertes Modell auf einem öffentlichen Hub veröffentlicht. Rechenleistung wie für ein vollständiges Training ist nicht nötig. Die Kernidee fand laut den Forschern Claude Code mit dem Modell Opus 4.5; Coding-Agenten könnten solche Angriffe leichter umsetzbar machen.

Hintertüren auf Gewichtsebene in Agentenmodellen wurden schon früher demonstriert. In einem am 6. Oktober veröffentlichten Proof of Concept hatten Forscher von ProjectDiscovery ein offenes Qwen-Modell so feinjustiert, dass es auf eine Auslöserphrase reagierte. War sie vorhanden, führte OpenAIs Codex CLI ein Skript aus, das Dummy-Zugangsdaten an einen von ihnen kontrollierten Server schickte. Anders als dort, wo das Modell mit vergifteten Trainingsbeispielen feinjustiert wurde, verändert Lazarus direkt einige wenige Neuronen.

Zuverlässig erkennen lässt sich die Manipulation laut einer Forschungszusammenfassung nur durch einen Vergleich des Checkpoints mit den ursprünglichen, unveränderten Gewichten. Legitime Feinjustierungen und quantisierte Versionen verändern Gewichte breit gestreut, manipulierte Neuronen dagegen wenige Gewichtsvektoren sehr stark. Ein Detektor, der auf Beispiele dieser Methode trainiert wurde, markierte im Papier 91,4 Prozent der manipulierten Test-Checkpoints ohne Vergleichskopie, stufte aber auch 9,7 Prozent der sauberen fälschlich als verdächtig ein. Die Testmenge war mit 35 manipulierten und 31 sauberen Checkpoints klein, andere Arten von Hintertür-Manipulationen wurden nicht geprüft. KI-Modelle direkt mit der Prüfung zu beauftragen, funktionierte schlechter: Claude Opus 5.5 hielt 41 Prozent der manipulierten Checkpoints für sauber, GPT-6 Astra traf bei fast allen sauberen keine Entscheidung. Kein Scan könne zweifelsfrei beweisen, dass ein Modell sicher ist, so die Forscher.

Microsofts Abwehrhinweise umfassen unter anderem:

• jeden Checkpoint vor dem Einsatz und nach jedem Update mit dem angegebenen Basismodell vergleichen und Modelle ablehnen, deren Basis sich nicht prüfen lässt;
• Checkpoints nur vom ursprünglichen Herausgeber laden, dessen Datei-Hashes prüfen und Feinjustierungen Dritter, Merges, quantisierte Versionen und Adapter bis zu einem Audit als nicht vertrauenswürdig behandeln;
• freigegebene Modelle in einer privaten Registry halten und Agenten daran hindern, Modelle direkt von öffentlichen Hubs zu laden;
• jedem Agenten nur die nötigen Rechte geben, von Agenten erzeugten Code nur in isolierten Sandboxes ausführen und ausgehende Netzwerkverbindungen begrenzen;
• folgenreiche Aktionen wie das Ausführen von Befehlen oder das Senden von Daten nach außen von einem Menschen freigeben lassen;
• ergänzend zum Gewichtsvergleich verhaltensbasiertes Scannen nach Hintertüren einsetzen, etwa nach der Methode aus Microsofts früherer Scanner-Forschung.

Microsoft Defender for Cloud kann Modelle in Azure Machine Learning auf Malware, unsichere Operatoren und offenliegende Geheimnisse prüfen. Das decke Risiken auf Code-Ebene ab, ersetze aber kein Audit auf Gewichtsebene, so das Unternehmen. Microsoft Foundry ordnet jedes angebotene Open-Weight-Modell seinem ursprünglichen Herausgeber zu und scannt die Container, in denen die Modelle laufen. Das schütze Kunden, die Modelle vertrauenswürdiger Labore nutzen, ein kompromittierter vertrauenswürdiger Anbieter bleibe jedoch ein Risiko. Microsoft entwickelt zudem ein Red-Teaming-Werkzeug auf Basis von Erkennungsmethoden, prüft das Scannen der Gewichte von Open-Weight-Modellen, die in Foundry aufgenommen werden, und plant, Modelle zu signieren, damit Kunden ihre Herkunft überprüfen können.