Agenten-KI in der Software-Entwicklung SCHNELL einführen! (Spoiler: Wahrscheinlich sollten Sie es nicht tun.)

Haben Sie als Cybersicherheitsexperte jemals das Gefühl, dass gerade jetzt alle im Hyperdrive auf agentenbasierte KI setzen, obwohl es vielleicht an der Zeit wäre, es langsam anzugehen und nachzudenken? Nun, was viele von uns in ihren KI-Sicherheitskristallkugeln gesehen haben, ist jetzt plötzlich Realität. 

Am Freitag, den 14. November, veröffentlichte Anthropic (einer der weltweit bekanntesten Anbieter von LLMs, dank seines beliebten Claude Code-Tools) ein bahnbrechendes Papier über einen Cybervorfall, den sie im September 2025 beobachteten und der jeden angriff, von großen Technologieunternehmen über Finanzinstitute und chemische Produktionsunternehmen bis hin zu Regierungsbehörden.

Was ist also der Grund für die ganze Aufregung, und was macht die Sache so besorgniserregend? Einfach ausgedrückt: Ein hochentwickelter Bedrohungsakteur (mutmaßlich ein Staat) nutzte Claude Code und eine Reihe von Tools in der Entwicklerumgebung, indem er Model Context Protocol (MCP)-Systeme nutzte, um in großem Umfang nahezu autonom gutartige Open-Source-Hacking-Tools zu verwenden, um sorgfältig ausgewählte Unternehmen anzugreifen. Es gab mehr als 30 Angriffsversuche, von denen einige erfolgreich waren, was beweist, dass KI-Agenten in der Lage sind, mit sehr wenig menschlichem Eingreifen verheerende Angriffe durchzuführen.

Letzten Monat wurde GlassWorm, ein erster sich selbst verbreitender Wurm, der auf VS-Code-Erweiterungen abzielt, von Koi Security identifiziert. Letzteres ist zwar kein neuer Angriffsvektor, aber es gibt eine neue Welle von Code-Erweiterungen (einschließlich MCP-Servern), die auf den ersten Blick eine harmlose Funktionalität aufweisen, aber unter der Haube eine Reihe von bösartigen Aktivitäten beherbergen, die den Endpunkt eines Entwicklers schnell kompromittieren können.

Vielleicht ist es an der Zeit, dass wir einen Gang zurückschalten, tief durchatmen und gemeinsam überlegen, wie wir uns am besten gegen dieses neue Bedrohungsprofil schützen können.

Absicherung von Systemen gegen hochschnelle KI-Agenten

Die jüngste Veröffentlichung von Anthropic hebt eine starke neue Bedrohung hervor, die die lang gehegten Befürchtungen vieler Sicherheitsexperten bestätigt, indem sie zeigt, wie KI verteilte Risiken dramatisch beschleunigen und verstärken kann. Diese Entwicklung verschafft böswilligen Akteuren einen weiteren Vorteil, was angesichts des Vorsprungs, den sie gegenüber dem ausgebrannten und überlasteten Sicherheitspersonal, das den technologischen Wildwuchs in einem durchschnittlichen Unternehmen verwaltet, bereits haben, ärgerlich ist.

Im Wesentlichen gelang es staatlich unterstützten Angreifern, das Claude-Code-Modell zu "knacken". Sie brachten die KI erfolgreich dazu, ihre ausgeklügelten Sicherheitsprotokolle zu umgehen, um feindliche Operationen durchzuführen. Sobald die KI kompromittiert war, nutzte sie ihren MCP-Zugang und infiltrierte rasch verschiedene Unternehmenssysteme und -werkzeuge. Er fand und lokalisierte hochsensible Datenbanken in den Zielunternehmen in einem Zeitrahmen, der selbst für die fortschrittlichsten menschlichen Hackerkollektive unmöglich wäre.

Diese Sicherheitsverletzung löste eine erschreckende Kaskade von Maßnahmen aus: umfassende Schwachstellentests, die automatische Generierung von bösartigem Code und sogar die Selbstdokumentation des Angriffs mit System-Scan-Protokollen und den erfolgreich erbeuteten personenbezogenen Daten (PII).

Für Sicherheitsveteranen ist dies ein echtes Alptraumszenario. Wie können menschliche Teams mit der Geschwindigkeit und Zerstörungskraft eines Angriffsvektors mithalten, der von einer solchen KI gesteuert wird?

Der Endpunkt eines Entwicklers und dieses neue KI-Ökosystem bieten neue Angriffsmöglichkeiten

Jeder Entwickler bevorzugt seine eigene IDE, sei es die klassische VSCode, JetBrains' IntelliJ oder Eclipse oder die neueren Cline, Windsurf oder Cursor, und für die meisten dieser IDEs gibt es App-Marktplätze, die Erweiterungen zum Herunterladen und Installieren anbieten. Diese Erweiterungen werden nur selten auf böswillige Aktivitäten hin untersucht, werden in der Regel mit einer Übererlaubnis ausgeliefert und haben Zugang zu einer Sandbox-Umgebung, in der sie auf Dateien zugreifen können. 

Diese Umgebungen integrieren nun alle KI-Funktionen, KI-Agenten und eine Reihe neuer Tools, die diese Agenten nutzen können (z. B. MCP-Server). Oft werden diese über Marktplätze veröffentlicht, auf denen jeder Entwickler seine neuen Tools freigeben kann. Und ja, Sie haben es erraten, diese MCP-Server können oft Befehle auf einem System lesen, schreiben und ausführen, und zwar über eine KI-Umgebung, die höchstwahrscheinlich für Prompt Injections anfällig ist. Was kann da schon schiefgehen?

Die unverzichtbare Notwendigkeit der Rückverfolgbarkeit und Beobachtbarkeit von KI-Werkzeugen

Das ist alles gleichzeitig komplex und einfach: Wenn ein CISO keine Ahnung hat, welche Entwickler welche KI-Tools verwenden, welcher Code übertragen wird oder welche Repositories durch die Zusammenarbeit von Mensch und KI erweitert werden, dann fehlt ein riesiger Datensatz, und die Beobachtbarkeit muss gestern verbessert werden. 

Die rasche Integration von KI-Codierassistenten und MCP-Servern, die inzwischen von einer großen Mehrheit der Entwickler genutzt werden, hat einen kritischen blinden Fleck in der Sicherheit innerhalb des SDLC geschaffen. Die Daten sind alarmierend: Es wurde festgestellt, dass bis zu 50 % des funktional korrekten LLM-generierten Codes Sicherheitsfehler enthält, doch ohne angemessene Beobachtungsmöglichkeiten haben CISOs und AppSec-Teams keinen verwertbaren Einblick in die schiere Menge und die Quellen dieses hochriskanten Codes, der eingeführt wird. Dieser kritische Mangel an Rückverfolgbarkeit macht eine effektive KI-Governance in Form von Richtliniendurchsetzung und Risikominderung praktisch unmöglich.

Um die immensen Produktivitätsgewinne, die KI bietet, sicher zu maximieren, müssen Unternehmen Lösungen einsetzen, die einen vollständigen und tiefen Einblick in die KI-Angriffsfläche bieten. Secure Code Warrior hat SCW Trust Agent: AI in der geschlossenen Beta-Phase mit einer ausgewählten Anzahl unserer Kunden. Diese Funktion bietet tiefe Einblicke, indem sie den von KI generierten Code-Traffic (einschließlich MCP-Servern) in Echtzeit auf dem lokalen Rechner des Entwicklers aktiv überwacht und ihn durch Pull-Requests und Commits an tatsächliche Software-Repositories verfolgt. Eine genaue Rückverfolgbarkeit der Sicherheit wird nur durch die Korrelation von drei wichtigen Signalen erreicht: dem spezifischen KI-Codierungstool und dem verwendeten LLM-Modell, dem angestrebten Code-Repository und, was am wichtigsten ist, den gemessenen sicheren Codierungskenntnissen des beitragenden Entwicklers.

Nur durch die Einrichtung dieser überprüfbaren Korrelationskette kann ein Unternehmen das tatsächliche Sicherheitsrisiko genau bewerten, die Durchsetzung robuster Richtlinien automatisieren und sicherstellen, dass KI-fähige Entwickler die vorgeschriebenen Standards für sichere Codierung erfüllen, bevor ihre Beiträge die bestehenden Leitplanken erfolgreich umgehen. 

Setzen Sie sich mit uns in Verbindung, wenn Sie mehr wissen oder eine Demo der hochentwickelten KI-Governance in Aktion sehen möchten, oder senden Sie uns einfach eine Nachricht, um am Beta-Programm teilzunehmen.