Wenn gute Tools schlecht werden: AI-Tool-Poisoning und wie man verhindert, dass KI sich wie ein Doppelagent verhält

KI-gestützte Entwicklung (oder die trendigere Variante „Vibecoding“) hat die Codeerstellung grundlegend verändert. Renommierte Entwickler setzen diese Tools in großem Umfang ein, und auch diejenigen unter uns, die schon immer ihre eigene Software entwickeln wollten, aber nicht über die entsprechenden Erfahrungen verfügten, nutzen diese Tools, um Assets zu erstellen, deren Entwicklung früher zu kostspielig und zeitaufwändig gewesen wäre. Diese Technologie wird als Beginn einer neuen Ära der Innovation angesehen, bringt jedoch auch eine Reihe neuer Schwachstellen und Risikoprofile mit sich, mit deren Eindämmung Sicherheitsverantwortliche zu kämpfen haben.

Eine aktuelle Entdeckung von InvariantLabs hat eine schwerwiegende Schwachstelle im Model Context Protocol (MCP) aufgedeckt, einem API-ähnlichen Framework, das leistungsstarken KI-Tools die autonome Interaktion mit anderer Software und Datenbanken ermöglicht. Dadurch werden sogenannte „Tool-Poisoning-Angriffe” möglich, eine neue Kategorie von Schwachstellen, die für Unternehmen besonders schädlich sein können.Auch führende KI-Tools wie Windsurf und Cursor sind davon nicht ausgenommen. Angesichts von Millionen von Nutzern sind das Bewusstsein und die Fähigkeiten zum Umgang mit diesem neuen Sicherheitsproblem von größter Bedeutung.

Derzeit sind die Ergebnisse dieser Tools nicht so konsistent und sicher, dass sie als unternehmensfähig bezeichnet werden können, wie in einem aktuellen Forschungsartikel von Vinesh Sai Narayana und Idan Hubler, Sicherheitsforschern bei AWS und Intuit, beschrieben: „Da KI-Systeme immer autonomer werden und über MCPs direkt mit externen Tools und Echtzeitdaten interagieren, wird es absolut unerlässlich, die Sicherheit dieser Interaktionen zu gewährleisten.“

Risikoprofil des Agentur-KI-Systems und des Modellkontextprotokolls

Das Model Context Protocol ist eine nützliche Software von Anthroopic. Es ermöglicht eine bessere und nahtlosere Integration von AI-Agenten mit großen Sprachmodellen (LLM) und anderen Tools. Dies ist ein starker Anwendungsfall, der vielfältige Möglichkeiten zwischen proprietären Anwendungen und SaaS-Tools wie GitHub, die für Unternehmen unverzichtbar sind, sowie modernsten AI-Lösungen eröffnet.Sie müssen lediglich einen MCP-Server schreiben und können dann damit beginnen, Richtlinien dafür festzulegen, wie er funktionieren soll und für welche Zwecke er eingesetzt werden soll.

Die Auswirkungen der MCP-Technologie auf die Sicherheit sind in der Praxis überwiegend positiv. Das Versprechen einer einfacheren Integration der von LLM und Sicherheitsexperten verwendeten Technologie-Stacks ist unübersehbar attraktiv und zeigt die Möglichkeit einer präzisen Automatisierung von Sicherheitsaufgaben auf einem bisher unmöglichen Niveau, zumindest ohne die Erstellung und Bereitstellung von benutzerdefiniertem Code für jede einzelne Aufgabe. Daten,Tools und Verantwortlichen sind die Grundlage für einen effektiven Sicherheitsschutz und eine effektive Sicherheitsplanung. In Anbetracht dessen ist die durch MCP ermöglichte verbesserte Interoperabilität von LLM eine vielversprechende Perspektive für die Unternehmenssicherheit.

Allerdings kann die Verwendung von MCP andere Bedrohungsvektoren hervorrufen, die ohne sorgfältige Verwaltung zu einer erheblichen Ausweitung der Angriffsfläche eines Unternehmens führen können. Wie Invariant Labshervorhebt, handelt es sich bei Tool-Poisoning-Angriffen um eine neue Kategorie von Schwachstellen, die zu Datenlecks und unberechtigten Aktionen durch KI-Modelle führen können, wodurch sich die Auswirkungen auf die Sicherheit schnell sehr negativ gestalten können.

Laut InvariantLabs sind Tool-Poisoning-Angriffe möglich, wenn böswillige Anweisungen, die für Benutzer nicht sichtbar sind, aber von KI-Modellen vollständig gelesen (ausgeführt) werden können, in die Beschreibung des MCP-Tools eingebettet sind. Dadurch wird das Tool dazu gebracht, unbemerkt vom Benutzer unzulässige Aktionen auszuführen. Das Problem liegt in der Annahme von MCP, dass alle Tool-Beschreibungen vertrauenswürdig sind, was für Angreifer interessant ist.

彼らは、ツールが危険にさらされると次のような結果になる可能性があることを指摘しています。

• Das KI-Modell wird angewiesen, auf vertrauliche Dateien (SSH-Schlüssel, Konfigurationsdateien, Datenbanken usw.) zuzugreifen.
• In einer Umgebung, in der diese böswilligen Handlungen vor unbekannten Benutzern verborgen bleiben, wird die KI angewiesen, diese Daten zu extrahieren und zu senden.
• Hinter der scheinbar einfachen Darstellung der Argumente und Ausgaben des Tools in der Benutzeroberfläche verbirgt sich eine Kluft zwischen dem, was der Benutzer sieht, und dem, was das KI-Modell ausführt.

Dies ist eine besorgniserregende neue Kategorie von Schwachstellen, die mit der unvermeidlichen Zunahme der Verwendung von MCPs mit ziemlicher Sicherheit häufiger auftreten wird. Da die Sicherheitsprogramme von Unternehmen weiterentwickelt werden, um diese Bedrohung zu erkennen und zu mindern, ist es wichtig, dass Entwickler gut vorbereitet sind, um sich an der Lösung zu beteiligen.

Warum nur Entwickler mit Sicherheitskenntnissen KI-Agent-Tools nutzen sollten

Agentische KI-Codierungstools gelten als nächste Evolutionsstufe der KI-unterstützten Codierung und bieten neben Funktionen zur Steigerung der Effizienz, Produktivität und Flexibilität der Softwareentwicklung auch die Möglichkeit, die Effizienz, Produktivität und Flexibilität der Softwareentwicklung zu steigern. Sie sind besonders nützlich, da sie über eine verbesserte Fähigkeit zum Verständnis von Kontext und Absichten verfügen, sind jedoch nicht immun gegen Bedrohungen wie sofortige Injektionen, Halluzinationen und Verhaltensmanipulationen durch Angreifer.

Entwickler sind die Verteidigungslinie zwischen guten und schlechten Code-Commits, und die Verbesserung ihrer Fähigkeiten sowohl im Bereich Sicherheit als auch im kritischen Denken wird die Grundlage für eine sichere Softwareentwicklung in der Zukunft bilden.

Die Ergebnisse der KI sollten niemals blind vertraut und implementiert werden. Nur Entwickler mit Sicherheitskompetenzen, die situationsbezogen kritisch denken können, sind in der Lage, die durch diese Technologie erzielten Produktivitätssteigerungen sicher zu nutzen. Dennoch muss es sich um eine Umgebung wie die des Pair Programming handeln, in der menschliche Experten die von den Tools erstellten Ergebnisse bewerten, Bedrohungsmodelle erstellen und schließlich genehmigen können.

Erfahren Sie mehr darüber, wie Entwickler mithilfe von KI ihre Fähigkeiten verbessern und ihre Produktivität steigern können. Hier.

Praktische Entspannungstechniken und weitere Details in den neuesten Forschungsarbeiten

KI-Codierungstools und MCP-Technologie werden voraussichtlich wichtige Faktoren für die Zukunft der Cybersicherheit sein, aber es ist wichtig, sich nicht zu sehr darauf zu konzentrieren, bevor man die Situation genau überprüft hat.

Narajala und Hubla beschreiben in ihrer Abhandlung ausführlich umfassende Strategien zur Risikominderung und zum kontinuierlichen Risikomanagement für die Umsetzung von MCP auf Unternehmensebene. Letztendlich konzentrieren sie sich auf die Prinzipien der mehrschichtigen Verteidigung und Zero Trust und beleuchten das einzigartige Risikoprofil, das dieses neue Ökosystem für die Unternehmensumgebung mit sich bringt. Insbesondere für Entwickler ist es unerlässlich, Wissenslücken in den folgenden Bereichen zu schließen.

• Authentifizierung und Zugriffskontrolle: Agent-basierte KI-Tools funktionieren so, dass sie Probleme lösen und autonome Entscheidungen treffen, um geplante Ziele zu erreichen, ähnlich wie Menschen bei der Bewältigung technischer Aufgaben. Wie jedoch bereits festgestellt wurde, ist die Überwachung dieser Prozesse durch erfahrene Fachleute nicht zu vernachlässigen. Daher müssen Entwickler, die diese Tools in ihren Arbeitsabläufen einsetzen, genau wissen, über welche Zugriffsrechte sie verfügen, welche Daten sie möglicherweise erfassen oder veröffentlichen und wo diese Daten geteilt werden.
• Erkennung und Minderung allgemeiner Bedrohungen: Wie bei den meisten KI-Prozessen müssen die Benutzer mit den Aufgaben vertraut sein, um potenzielle Mängel und Ungenauigkeiten in den Tool-Ausgaben zu erkennen. Entwickler müssen ihre Fähigkeiten kontinuierlich verbessern und überprüfen lassen, um Sicherheitsprozesse effektiv zu überprüfen. So können sie den von der KI generierten Code mit Blick auf Sicherheit und Zuverlässigkeit überprüfen.
• Die Verbindung zwischen Sicherheitsrichtlinien und KI-Governance: Entwickler müssen über zugelassene Tools informiert werden und die Möglichkeit erhalten, ihre Fähigkeiten zu verbessern und Zugang zu den Tools zu erhalten. Bevor man sich auf ein Commit festlegt, sollten sowohl die Entwickler als auch die Tools den Sicherheitsbenchmarks unterzogen werden.

Wir haben kürzlich eine Forschungsarbeit veröffentlicht, die sich mit dem Aufkommen von Vibecoding und AI-Assisted Coding sowie den Maßnahmen befasst, die Unternehmen ergreifen sollten, um die nächste Generation von Softwareentwicklern mit KI-Kenntnissen auszubilden. Lesen Sie sie jetzt und kontaktieren Sie uns, um Ihr Entwicklungsteam zu stärken.