Angriffe auf KI-Systeme · 14. November 2026 · Preprint, nicht begutachtet
Forschende hebeln Sicherheitsausrichtung eines Sprachmodells für 20 US-Dollar aus

Forschende zeigen, dass sich die Sicherheitsausrichtung eines Sprachmodells über einen Reinforcement-Learning-Dienst für 20 US-Dollar aushebeln lässt.1
- Ergebnis: Laut den Forschenden lässt sich die Sicherheitsausrichtung eines Sprachmodells über einen agentischen Reinforcement-Learning-Dienst bereits für 20 US-Dollar aushebeln.1 Ihr Abwehransatz Bait begrenzte in Experimenten das Lernen aus einer schädlichen Reward-Funktion.1
- Kontext: Ein so geschwächtes Modell könnte den Forschenden zufolge beim Ausnutzen von Softwarelücken helfen.1
Quellen und Belegstellen
1 Quelle, 4 Stellen
Die kleinen Zahlen im Text verweisen auf diese Quellen. Darunter stehen die Stellen, auf die sich unsere Aussagen stützen, in der Sprache der Quelle.
1Bait: Mitigating Harmful Agentic Reinforcement Learning via Probing Reward Function
with a cost as low as $20, we show that safety alignment of a large language model (e.g., Inkling) can be completely subverted through rounds of harmful agentic reinforcement learning (agentic RL) with a toxic environment from its users.
with a cost as low as $20, we show that safety alignment of a large language model (e.g., Inkling) can be completely subverted through rounds of harmful agentic reinforcement learning (agentic RL)
we propose Bait, a defense that mitigates the attack via proactively probing the reward function. Experimental results show that such a simple defense can sufficiently mitigate learning from a harmful reward function
the attackers can potentially use the safety-degraded model to assist with real-world harmful activities, e.g., exploit software vulnerabilities and launch code re-use attacks.
Jede Ausgabe per E-Mail
Die Meldungen des Tages, sobald die Redaktion die Ausgabe freigegeben hat. Kostenlos, abmelden mit einem Klick.
Hinweis
Dieser Newsletter berichtet über Veröffentlichungen Dritter und verlinkt sie. Er ist keine Sicherheits-, Rechts- oder Anlageberatung und gibt keine Handlungsempfehlungen. Jede Aussage stützt sich auf die genannte Quelle; für deren Inhalt sind die jeweiligen Herausgeber verantwortlich. Empfehlungen geben wir nur wieder, wenn eine benannte Behörde oder der Hersteller sie ausgesprochen hat, und nennen sie als deren Aussage. Für Richtigkeit, Vollständigkeit und Aktualität übernehmen wir keine Gewähr. Bitte prüfen Sie Maßnahmen für Ihre Umgebung mit den Originalquellen und fachkundiger Unterstützung. Alle Bilder sind Symbolbilder und mit KI erstellt. Mehr dazu