Wenn gute Werkzeuge schlecht werden: Vergiftung durch KI-Tools und wie Sie Ihre KI davon abhalten, als Doppelagent zu agieren

Die KI-unterstützte Entwicklung (oder, die trendigere Version, "Vibe Coding") hat einen enormen, transformierenden Effekt auf die Codeerstellung. Etablierte Entwickler setzen diese Tools in Scharen ein, und auch diejenigen unter uns, die schon immer ihre eigene Software erstellen wollten, denen aber die entsprechende Erfahrung fehlte, nutzen sie, um Assets zu erstellen, die früher kosten- und zeitintensiv gewesen wären. Diese Technologie verspricht zwar, eine neue Ära der Innovation einzuläuten, bringt aber auch eine Reihe neuer Schwachstellen und Risikoprofile mit sich, die von den Sicherheitsverantwortlichen nur schwer abgemildert werden können. 

Eine kürzlich von InvariantLabs gemachte Entdeckung deckte eine kritische Schwachstelle im Model Context Protocol (MCP) auf, einem API-ähnlichen Framework, das es leistungsstarken KI-Tools ermöglicht, autonom mit anderer Software und Datenbanken zu interagieren. Dies ermöglicht sogenannte "Tool Poisoning Attacks", eine neue Schwachstellen-Kategorie, die sich in Unternehmen als besonders schädlich erweisen könnte. Große KI-Tools wie Windsurf und Cursor sind dagegen nicht immun, und bei vielen Millionen Nutzern sind das Bewusstsein und die Fähigkeiten zur Bewältigung dieses neuen Sicherheitsproblems von größter Bedeutung.

Derzeit ist die Ausgabe dieser Tools nicht durchgängig sicher genug, um sie als unternehmenstauglich zu bezeichnen, wie in einem aktuellen Forschungspapier der Sicherheitsforscher von AWS und Intuit, Vineeth Sai Narajala und Idan Habler, festgestellt wird: "Da KI-Systeme immer autonomer werden und anfangen, über Dinge wie MCP direkt mit externen Tools und Echtzeitdaten zu interagieren, wird es absolut notwendig, sicherzustellen, dass diese Interaktionen sicher sind."

Agentische KI-Systeme und das Risikoprofil des Modell-Kontext-Protokolls

Das Model Context Protocol ist eine praktische, von Anthropic entwickelte Software, die eine bessere und nahtlosere Integration zwischen Large Language Model (LLM) KI-Agenten und anderen Werkzeugen ermöglicht. Dies ist ein leistungsstarker Anwendungsfall, der eine Welt der Möglichkeiten zwischen proprietären Anwendungen und geschäftskritischen SaaS-Tools wie GitHub eröffnet, die mit hochmodernen KI-Lösungen interagieren. Schreiben Sie einfach einen MCP-Server und legen Sie die Richtlinien fest, wie er funktionieren soll und zu welchem Zweck. 

Die Auswirkungen der MCP-Technologie auf die Sicherheit sind in der Tat überwiegend positiv. Das Versprechen einer direkteren Integration zwischen LLMs und dem von Sicherheitsexperten genutzten technischen Stack ist zu verlockend, um es zu ignorieren, und stellt die Möglichkeit einer präzisen Automatisierung von Sicherheitsaufgaben auf einem Niveau dar, das bisher nicht möglich war, zumindest nicht ohne das Schreiben und Bereitstellen von benutzerdefiniertem Code, normalerweise für jede Aufgabe. Die verbesserte Interoperabilität von LLMs, die durch MCP ermöglicht wird, ist eine aufregende Aussicht für die Unternehmenssicherheit, da weitreichende Transparenz und Konnektivität zwischen Daten, Tools und Personal für eine effektive Sicherheitsabwehr und -planung von grundlegender Bedeutung sind.

Die Verwendung von MCP kann jedoch andere mögliche Bedrohungsvektoren einführen und die Angriffsfläche für Unternehmen erheblich vergrößern, wenn sie nicht sorgfältig verwaltet wird. Wie InvariantLabs feststellt, stellen Tool-Poisoning-Angriffe eine neue Schwachstellenkategorie dar, die zur Exfiltration sensibler Daten und unbefugten Aktionen durch KI-Modelle führen kann. 

InvariantLabs stellt fest, dass ein Tool Poisoning-Angriff möglich ist, wenn bösartige Anweisungen in MCP-Tool-Beschreibungen eingebettet sind, die für den Benutzer nicht sichtbar sind, aber von KI-Modellen vollständig gelesen (und ausgeführt) werden können. Auf diese Weise wird das Tool dazu gebracht, ohne Wissen des Benutzers unbefugte Aktionen auszuführen. Das Problem liegt darin, dass MCP davon ausgeht, dass alle Tool-Beschreibungen vertrauenswürdig sind, was für einen Bedrohungsakteur ein gefundenes Fressen ist.

Sie verweisen auf diese möglichen Folgen eines kompromittierten Instruments:

• Anweisung von KI-Modellen zum Zugriff auf sensible Dateien (wie SSH-Schlüssel, Konfigurationsdateien, Datenbanken usw.);
• Die KI wird angewiesen, diese Daten zu extrahieren und zu übermitteln, und zwar in einer Umgebung, in der diese böswilligen Handlungen für den unwissenden Benutzer nicht sichtbar sind;
• Sie schaffen eine Trennung zwischen dem, was der Benutzer sieht, und dem, was das KI-Modell tut, indem Sie sich hinter täuschend einfachen UI-Darstellungen von Werkzeugargumenten und -ausgaben verstecken.

Dies ist eine besorgniserregende, neu entstehende Schwachstellenkategorie, die mit Sicherheit häufiger auftreten wird, wenn die unvermeidliche Zunahme der MCP-Nutzung weiter anhält. Es bedarf sorgfältiger Maßnahmen, um diese Bedrohung im Zuge der Weiterentwicklung der Sicherheitsprogramme von Unternehmen zu finden und zu entschärfen, und eine angemessene Vorbereitung der Entwickler als Teil der Lösung ist von entscheidender Bedeutung.

Warum nur sicherheitserfahrene Entwickler agentenbasierte KI-Tools nutzen sollten

Agentenbasierte KI-Codierungstools gelten als die nächste Evolutionsstufe der KI-gestützten Codierung und tragen dazu bei, die Effizienz, Produktivität und Flexibilität bei der Softwareentwicklung zu steigern. Ihre verbesserte Fähigkeit, Kontext und Absicht zu verstehen, macht sie besonders nützlich, aber sie sind nicht immun gegen Bedrohungen wie Prompt Injection, Halluzination oder Verhaltensmanipulation durch Angreifer. 

Entwickler sind die Verteidigungslinie zwischen guten und schlechten Code-Commits, und es wird für die Zukunft der sicheren Softwareentwicklung von grundlegender Bedeutung sein, sowohl die Sicherheit als auch die Fähigkeiten zum kritischen Denken aufrechtzuerhalten.

KI-Ausgaben sollten nie mit blindem Vertrauen implementiert werden, und es sind sicherheitserfahrene Entwickler, die kontextbezogenes, kritisches Denken anwenden, die die Produktivitätsgewinne, die diese Technologie bietet, sicher nutzen können. Dennoch muss dies in einer Umgebung geschehen, die einer Paarprogrammierung gleichkommt, in der ein menschlicher Experte in der Lage ist, die vom Tool produzierte Arbeit zu bewerten, ein Bedrohungsmodell zu erstellen und schließlich zu genehmigen. 

Erfahren Sie hier mehr darüber, wie Entwickler ihre Produktivität mit KI steigern können.

Praktische Abhilfemaßnahmen und weiterführende Informationen in unserem neuesten Forschungspapier

KI-Codierungstools und MCP-Technologien werden in der Zukunft der Cybersicherheit eine wichtige Rolle spielen, aber wir sollten nicht ins kalte Wasser springen, bevor wir die Lage geprüft haben. 

Das Papier von Narajala und Habler beschreibt umfassende Strategien zur Abschwächung der Risiken bei der Implementierung von MCP auf Unternehmensebene und der laufenden Verwaltung der damit verbundenen Risiken. Letztlich geht es um Defense-in-Depth- und Zero-Trust-Prinzipien, die explizit auf das einzigartige Risikoprofil abzielen, das dieses neue Ökosystem für eine Unternehmensumgebung mit sich bringt. Speziell für Entwickler ist es wichtig, Wissenslücken in den folgenden Bereichen zu schließen:

• Authentifizierung und Zugangskontrolle: Agentische KI-Tools lösen Probleme und treffen autonome Entscheidungen, um die für sie festgelegten Ziele zu erreichen, ähnlich wie ein Mensch an technische Aufgaben herangehen würde. Wie wir jedoch festgestellt haben, kann eine qualifizierte menschliche Aufsicht über diese Prozesse nicht ignoriert werden, und Entwickler, die diese Tools in ihren Arbeitsabläufen verwenden, müssen genau wissen, welche Zugriffsrechte sie haben, welche Daten sie abrufen oder potenziell preisgeben und wo sie geteilt werden können. 
• Allgemeine Erkennung und Eindämmung von Bedrohungen: Wie bei den meisten KI-Prozessen muss der Benutzer die Aufgabe selbst beherrschen, um potenzielle Schwachstellen und Ungenauigkeiten in der Ausgabe des Tools zu erkennen. Die Entwickler müssen kontinuierlich weitergebildet und ihre Fähigkeiten überprüft werden, um Sicherheitsprozesse effektiv zu überprüfen und KI-generierten Code mit Sicherheitspräzision und Autorität zu überprüfen.
• Abstimmung mit der Sicherheitspolitik und der KI-Governance: Entwickler sollten auf zugelassene Tools aufmerksam gemacht werden und die Möglichkeit erhalten, sich weiterzubilden und Zugang zu ihnen zu erhalten. Sowohl der Entwickler als auch das Tool sollten einem Sicherheits-Benchmarking unterzogen werden, bevor Commits als vertrauenswürdig eingestuft werden.

Wir haben kürzlich ein Forschungspapier über das Aufkommen von Vibe Coding und KI-gestütztem Coding veröffentlicht und die Schritte, die Unternehmen unternehmen müssen, um die nächste Generation von KI-gestützten Softwareingenieuren heranzuziehen. Lesen Sie es sich durch und nehmen Sie Kontakt auf, um Ihre Entwicklungsgruppe noch heute zu verstärken.