Angriffe auf KI-Systeme · 13. November 2026 · bestätigt von Microsoft
Laut Microsoft testeten Forschende 90 manipulierte Beispiele für Coding-Agents

Microsofts Forschende erzielten laut Microsoft mit manipulierten Trainingsdaten bei Coding-Agents auf bekannten Harnesses rund 78 Prozent Angriffserfolg.1
- Ergebnis: Microsofts Forschende erreichten mit manipulierten Trainingsdaten auf bekannten Harnesses rund 78 Prozent Angriffserfolg. Bei manipulierten Modellgewichten lag der Durchschnitt auf unbekannten Repositories zwischen 84,1 und 94,8 Prozent.1
- Datenbasis: Microsoft Defender Research mischte für den Trainingsdatenversuch 90 manipulierte Beispiele in rund 9.000 Terminal-Agent-Gespräche.1
- Einschränkung: Im Trainingsdatenversuch übertrug sich das Verhalten auf einen unbekannten Harness mit 11,0 Prozent Erfolg, auf einen zweiten mit 0 Prozent.1
Die ganze Geschichte
Untersucht
Microsoft Defender Research nutzte eine alltägliche Anfrage nach Projektdokumentation als Auslöser. Das Modell lernte, ein verfügbares Tool zur Befehlsausführung zu finden und für einen unsicheren Befehl zu nutzen.1 In einem öffentlichen Datensatz fand das Team zudem Beispiele, die harmlose Anfragen mit sachfremden, unsicheren Tool-Aufrufen verbanden.1
Zahlen
Microsoft Defender Research prüfte auch anders formulierte Anfragen nach Dokumentation. Zehn Paraphrasen erzielten auf bekannten Harnesses zwischen 52 und 70 Prozent Angriffserfolg.1
Grenzen
Microsoft Defender Research konnte bei den Beispielen aus dem öffentlichen Datensatz die Absicht des Herausgebers nicht bestimmen. Auch ihr möglicher Einfluss auf ein feinabgestimmtes Modell blieb unklar.1 Für eine Hintertür, die Parameter aus dem Laufzeitkontext übernimmt, fand das Team keine Belege in frei verfügbaren Daten.1
Redaktionell bearbeitet.
Quellen und Belegstellen
1 Quelle, 12 Stellen
Die kleinen Zahlen im Text verweisen auf diese Quellen. Darunter stehen die Stellen, auf die sich unsere Aussagen stützen, in der Sprache der Quelle.
1Trained to betray: How post-training supply chain attacks hijack coding agents
Two studies of the post-training supply chain, from Microsoft Defender Research and the Microsoft AI Red Team, show why.
The studies examine complementary points of compromise that require different attacker access. Dataset poisoning depends on planting crafted examples in data the victim later uses for fine-tuning, while model poisoning assumes attacker control of the model before distribution
Microsoft Defender Research examined how an attacker could poison supervised fine-tuning data used by an organization to specialize a coding or terminal agent.
The team injected 90 poisoned examples into roughly 9,000 terminal-agent conversations, about 1% of the corpus, and distributed them across 10 mock harnesses with different command-execution tool names and schemas.
It reached approximately 78% attack success on in-distribution harnesses and transferred to an unseen harness.
In this setting, average success on unseen repositories reached 84.1% to 94.8%, with additional transfer across coding harnesses.
The behavior also transferred to one unseen harness at 11.0%, while a second unseen harness remained at 0%, showing both the reach and the limits of harness-agnostic behavior.
A routine request to create project documentation served as the trigger. The model learned to inspect the available tools, identify one that could execute commands, and produce a schema-valid invocation for that interface with an unsafe command that fetches content from an attacker-controlled domain
During threat hunting across popular open-source hubs, the team found several rows in one large dataset that mapped benign requests to unrelated, unsafe tool calls.
Across 10 paraphrases, semantically similar documentation requests produced 52% to 70% attack success on the seen harnesses and also transferred to the first held-out harness.
The researchers could not determine the publisher’s intent or whether those few rows would materially affect a fine-tuned model
A data-derived backdoor instead teaches the model to extract a parameter from runtime context and incorporate it into an unsafe tool call, allowing the action to change without re-poisoning the training data (though no evidence of this method was found in the wild).
Jede Ausgabe per E-Mail
Die Meldungen des Tages, sobald die Redaktion die Ausgabe freigegeben hat. Kostenlos, abmelden mit einem Klick.
Hinweis
Dieser Newsletter berichtet über Veröffentlichungen Dritter und verlinkt sie. Er ist keine Sicherheits-, Rechts- oder Anlageberatung und gibt keine Handlungsempfehlungen. Jede Aussage stützt sich auf die genannte Quelle; für deren Inhalt sind die jeweiligen Herausgeber verantwortlich. Empfehlungen geben wir nur wieder, wenn eine benannte Behörde oder der Hersteller sie ausgesprochen hat, und nennen sie als deren Aussage. Für Richtigkeit, Vollständigkeit und Aktualität übernehmen wir keine Gewähr. Bitte prüfen Sie Maßnahmen für Ihre Umgebung mit den Originalquellen und fachkundiger Unterstützung. Alle Bilder sind Symbolbilder und mit KI erstellt. Mehr dazu