Wenn gute Werkzeuge kaputt gehen: Die Vergiftung von KI-Werkzeugen und wie man verhindern kann, dass KI als Doppelagent agiert

Die KI-gestützte Entwicklung (oder, in ihrer modernsten Form, die „Vibrationscodierung“) hat enorme und transformative Auswirkungen auf die Erstellung von Code. Etablierte Entwickler setzen diese Tools massenhaft ein, und diejenigen von uns, die schon immer ihre eigene Software entwickeln wollten, aber nicht über die erforderliche Erfahrung verfügten, nutzen sie ebenfalls, um Assets zu erstellen, die zuvor in Bezug auf Kosten und Zeitaufwand unerschwinglich gewesen wären. Diese Technologie verspricht zwar den Beginn einer neuen Ära der Innovation, bringt jedoch eine Reihe neuer Schwachstellen und Risikoprofile mit sich, die Sicherheitsverantwortliche zu mindern versuchen.

Eine kürzlich von InvariantLabs entdeckte Schwachstelle im Model Context Protocol (MCP), einem API-ähnlichen Framework, das leistungsstarken KI-Tools die autonome Interaktion mit anderer Software und Datenbanken ermöglicht, ermöglicht sogenannte „Tool-Poisoning-Angriffe“ – eine neue Kategorie von Schwachstellen, die für Unternehmen besonders schädlich sein könnten. Führende KI-Tools wie Windsurf und Cursor sind nicht immun, und angesichts von vielen Millionen Nutzern sind das Bewusstsein und die Fähigkeiten zum Umgang mit diesem aufkommenden Sicherheitsproblem von größter Bedeutung.

So wie die Dinge stehen, sind die Ergebnisse dieser Tools nicht sicher genug, um sie als unternehmensfähig zu bezeichnen, wie aus einer aktuellen Forschungsarbeit der Sicherheitsforscher Vineeth Sai Narajala und Idan Habler von AWS und Intuit hervorgeht:Da KI-Systeme immer autonomer werden und über Dinge wie MCP direkt mit externen Tools und Daten in Echtzeit interagieren, wird es absolut unerlässlich, die Sicherheit dieser Interaktionen zu gewährleisten.

Die KI-Systeme der Agentur und das Risikoprofil des Protokolls Modellkontext

Das Model Context Protocol ist eine nützliche Software von Anthropic, die eine bessere und nahtlosere Integration zwischen den KI-Agenten des Large Language Model (LLM) und anderen Tools ermöglicht. Es handelt sich um ein leistungsstarkes Anwendungsbeispiel, das eine Vielzahl von Möglichkeiten zwischen proprietären Anwendungen und für Unternehmen unverzichtbaren SaaS-Tools wie GitHub eröffnet, die mit modernsten KI-Lösungen interagieren. Schreiben Sie einfach einen MCP-Server und legen Sie fest, wie er funktionieren soll und zu welchem Zweck.

Tatsächlich sind die Auswirkungen der MCP-Technologie auf die Sicherheit überwiegend positiv. Das Versprechen einer direkteren Integration zwischen LLMs und der von Sicherheitsexperten verwendeten Technologie ist zu verlockend, um es zu ignorieren, und bietet die Möglichkeit, Sicherheitsaufgaben auf einem Niveau zu automatisieren, das zuvor nicht möglich war, zumindest ohne benutzerdefinierten Code zu schreiben und zu implementieren, normalerweise für jede Aufgabe. Die verbesserte Interoperabilität von LLM, die MCP bietet, ist eine interessante Perspektive für die Unternehmenssicherheit, da umfassende Transparenz und Konnektivität zwischen Daten, Tools und Mitarbeitern für eine effektive Verteidigung und Sicherheitsplanung von entscheidender Bedeutung sind.

Die Verwendung von MCP kann jedoch andere potenzielle Bedrohungsvektoren mit sich bringen und die Angriffsfläche eines Unternehmens erheblich vergrößern, wenn sie nicht sorgfältig verwaltet wird. Wie Invariant Labs feststellt, stellen Tool-Poisoning-Angriffe eine neue Kategorie von Schwachstellen dar, die zur Exfiltration vertraulicher Daten und zur Durchführung nicht autorisierter Maßnahmen durch KI-Modelle führen können. Von da an werden die Auswirkungen auf die Sicherheit sehr schnell sehr unklar.

InvariantLabs weist darauf hin, dass ein Tool-Poisoning-Angriff möglich ist, wenn böswillige Anweisungen in die Beschreibungen der MCP-Tools eingefügt werden, die für Benutzer nicht sichtbar sind, aber von KI-Modellen vollständig gelesen (und ausgeführt) werden können. Dadurch wird das Tool dazu verleitet, ohne Wissen des Benutzers unbefugte böswillige Aktionen auszuführen. Das Problem liegt in der Annahme des MCP, dass alle Tool-Beschreibungen vertrauenswürdig sind, was für Angreifer natürlich Musik in den Ohren ist.

Sie weisen auf die folgenden möglichen Folgen eines kompromittierten Tools hin:

• KI-Modelle so steuern, dass sie auf vertrauliche Dateien zugreifen können (wie SSH-Schlüssel, Konfigurationsdateien, Datenbanken usw.);
• Die KI so trainieren, dass sie diese Daten extrahiert und übermittelt, und zwar in einer Umgebung, in der diese böswilligen Aktionen für den ahnungslosen Nutzer von Natur aus verborgen bleiben.
• Es entsteht eine Diskrepanz zwischen dem, was der Benutzer sieht, und dem, was das KI-Modell tut, indem es sich hinter irreführend einfachen Darstellungen der Argumente und Ergebnisse der Tools in der Benutzeroberfläche versteckt.

Dies ist eine neue und besorgniserregende Kategorie von Schwachstellen, die mit der unvermeidlichen Zunahme der Verwendung von MCPs mit ziemlicher Sicherheit häufiger auftreten wird. Es werden sorgfältige Maßnahmen erforderlich sein, um diese Bedrohung zu erkennen und zu mindern, während sich die Sicherheitsprogramme von Unternehmen weiterentwickeln. Daher ist es von entscheidender Bedeutung, Entwickler angemessen vorzubereiten, damit sie Teil der Lösung sein können.

Warum nur Entwickler mit Sicherheitsexpertise die KI-Tools der Behörden nutzen sollten

Die KI-Codierungstools von Agentic gelten als die nächste Evolutionsstufe der KI-gestützten Codierung, wodurch ihre Fähigkeit erhöht wird, mehr Effizienz, Produktivität und Flexibilität bei der Softwareentwicklung zu bieten. Ihre verbesserte Fähigkeit, den Kontext und die Absicht zu verstehen, macht sie besonders nützlich, aber sie sind nicht immun gegen Bedrohungen wie schnelle Injektionen, Halluzinationen oder Verhaltensmanipulationen durch Angreifer.

Entwickler sind die Verteidigungslinie zwischen guten und schlechten Code-Bestätigungen, und die Aufrechterhaltung von Sicherheitsfähigkeiten und kritischem Denken wird für die Zukunft der sicheren Softwareentwicklung von entscheidender Bedeutung sein.

Die Ergebnisse der KI sollten niemals blind vertraut werden, und nur erfahrene Entwickler mit Sicherheitskenntnissen, die kritisch und kontextbezogen denken, können die Produktivitätsgewinne dieser Technologie sicher nutzen. Dies sollte jedoch in einer Umgebung geschehen, die einer Paarprogrammierung entspricht, in der der menschliche Experte in der Lage ist, die Ergebnisse zu bewerten, die Bedrohungen zu modellieren und letztendlich die vom Tool geleistete Arbeit zu genehmigen.

Erfahren Sie hier mehr darüber, wie Entwickler ihre Fähigkeiten verbessern und ihre Produktivität mit KI steigern können.

Praktische Techniken zur Risikominderung und weiterführende Literatur in unserem neuesten Forschungsartikel

KI-Codierungstools und MCP-Technologie werden in Zukunft eine wichtige Rolle für die Cybersicherheit spielen, aber es ist wichtig, dass wir nicht ins kalte Wasser springen, bevor wir die Lage genau geprüft haben.

Der Artikel von Narajala y Habler beschreibt umfassende Strategien zur Umsetzung von MCP auf Unternehmensebene und zum kontinuierlichen Management der damit verbundenen Risiken. Letztendlich konzentriert er sich auf die Prinzipien der tiefgreifenden Verteidigung und des Nullvertrauens und befasst sich ausdrücklich mit dem einzigartigen Risikoprofil, das dieses neue Ökosystem für das Unternehmensumfeld mit sich bringt. Im konkreten Fall der Entwickler ist es von grundlegender Bedeutung, Wissenslücken in den folgenden Bereichen zu schließen:

• Authentifizierung und Zugriffskontrolle: KI-Tools von Agenturen dienen dazu, Probleme zu lösen und autonome Entscheidungen zu treffen, um die für sie festgelegten Ziele zu erreichen, genauso wie ein Mensch technische Aufgaben angehen würde. Wie bereits erwähnt, darf jedoch die qualifizierte menschliche Überwachung dieser Prozesse nicht außer Acht gelassen werden. Entwickler, die diese Tools in ihren Arbeitsabläufen einsetzen, müssen genau wissen, über welchen Zugriff sie verfügen, welche Daten sie abrufen oder potenziell offenlegen und wo diese weitergegeben werden könnten.
• Erkennung und Abwehr allgemeiner Bedrohungen: Wie bei den meisten KI-Prozessen muss der Benutzer die Aufgabe selbst beherrschen, um mögliche Fehler und Ungenauigkeiten im Ergebnis des Tools zu erkennen. Entwickler müssen ihre Fähigkeiten kontinuierlich verbessern und überprüfen lassen, um die Sicherheitsprozesse effektiv zu überprüfen und den von der KI generierten Code mit Präzision und Autorität in Sicherheitsfragen zu überprüfen.
• Ausrichtung an der Sicherheitspolitik und der Governance der KI: Entwickler müssen die zugelassenen Tools kennen und die Möglichkeit haben, ihre Fähigkeiten zu verbessern und auf diese Tools zuzugreifen. Sowohl der Entwickler als auch das Tool müssen einer vergleichenden Sicherheitsbewertung unterzogen werden, bevor die Bestätigungen als zuverlässig angesehen werden können.

Wir haben kürzlich eine Forschungsarbeit über die Entstehung der Schwingungscodierung und der KI-gestützten Codierung sowie über die Maßnahmen veröffentlicht, die Unternehmen ergreifen sollten, um die nächste Generation von KI-gestützten Softwareingenieuren zu fördern. Schauen Sie sich diese an und kontaktieren Sie uns, um Ihr Entwicklungsteam noch heute zu stärken.