Wenn gute Werkzeuge schiefgehen: Vergiftung von KI-Werkzeugen und wie Sie verhindern können, dass Ihre KI als Doppelagent agiert

Die KI-gestützte Entwicklung (oder, in ihrer aktuellsten Form, das „Vibe Coding“) hat einen erheblichen transformativen Einfluss auf die Erstellung von Code. Erfahrene Entwickler setzen diese Tools massenhaft ein, und diejenigen unter uns, die schon immer ihre eigene Software entwickeln wollten, aber nicht über die erforderliche Erfahrung verfügen, nutzen sie ebenfalls, um Assets zu erstellen, die zuvor in Bezug auf Kosten und Zeitaufwand unerschwinglich gewesen wären. Obwohl diese Technologie eine neue Ära der Innovation einläuten könnte, bringt sie auch eine Reihe neuer Schwachstellen und Risikoprofile mit sich, die für Sicherheitsverantwortliche nur schwer zu mindern sind.

Eine aktuelle Entdeckung von InvariantLabs hat eine kritische Schwachstelle im Model Context Protocol (MCP) aufgedeckt, einem API-ähnlichen Framework, das leistungsstarken KI-Tools die autonome Interaktion mit anderer Software und Datenbanken ermöglicht und das sogenannte „Tool-Poisoning-Angriffe“ ” ermöglicht, eine neue Kategorie von Sicherheitslücken, die für Unternehmen besonders schädlich sein könnte. Die wichtigsten KI-Tools wie Windsurf und Cursor sind nicht immun, und angesichts von mehreren Millionen Nutzern sind das Bewusstsein und die Fähigkeiten, die zur Bewältigung dieses aufkommenden Sicherheitsproblems erforderlich sind, von größter Bedeutung.

Dans l'état actuel des choses, le résultat de ces outils est pas suffisamment sécurisés pour les étiqueter comme étant prêts à être utilisés en entreprise, comme indiqué dans un article de recherche récent de Vineeth Sai Narajala et Idan Habler, chercheurs en sécurité chez AWS et Intuit : „Da KI-Systeme immer autonomer werden und über Tools wie MCP direkt mit externen Tools und Daten in Echtzeit interagieren, ist es absolut unerlässlich, die Sicherheit dieser Interaktionen zu gewährleisten.“

Agentische KI-Systeme und das Risikoprofil des Model Context Protocol

Das Model Context Protocol ist eine praktische Software, die von Anthropic entwickelt wurde und eine bessere und reibungslosere Integration zwischen LLM-KI-Agenten (Large Language Model) und anderen Tools ermöglicht. Es handelt sich um einen leistungsstarken Anwendungsfall, der eine Vielzahl von Möglichkeiten zwischen proprietären Anwendungen und geschäftskritischen SaaS-Tools wie GitHub in Verbindung mit modernsten KI-Lösungen eröffnet. Schreiben Sie einfach einen MCP-Server und legen Sie fest, wie er funktionieren soll und zu welchem Zweck.

Die Auswirkungen der MCP-Technologie auf die Sicherheit sind im Wesentlichen positiv. Das Versprechen einer direkteren Integration zwischen LLMs und der von Sicherheitsexperten verwendeten Technologie ist zu verlockend, um ignoriert zu werden, und bietet die Möglichkeit einer präzisen Automatisierung von Sicherheitsaufgaben auf einem bisher unmöglichen Niveau, zumindest ohne das Schreiben und Bereitstellen von benutzerdefiniertem Code, in der Regel für jede Aufgabe. Die durch MCP verbesserte Interoperabilität von LLM ist eine interessante Perspektive für die Unternehmenssicherheit, da eine umfassende Transparenz und Konnektivität zwischen Daten, Tools und Mitarbeitern für eine effektive Sicherheitsplanung und -verteidigung unerlässlich ist.

Die Verwendung von MCP kann jedoch andere potenzielle Bedrohungsvektoren mit sich bringen und die Angriffsfläche von Unternehmen erheblich vergrößern, wenn sie nicht sorgfältig verwaltet wird. Wie Invariant Labs festgestellt hat, stellen Tool-Poisoning-Angriffe eine neue Kategorie von Schwachstellen dar, die zum Abfluss sensibler Daten und zu unbefugten Aktionen von KI-Modellen führen können. Von da an verschwimmen die Auswirkungen auf die Sicherheit sehr schnell.

InvariantLabs stellt fest, dass ein Tool-Poisoning-Angriff möglich ist, wenn bösartige Anweisungen in die Beschreibungen der MCP-Tools integriert werden, die für Benutzer nicht sichtbar, aber für KI-Modelle vollständig lesbar (und ausführbar) sind. Dies veranlasst das Tool, ohne Wissen des Benutzers unbefugte Aktionen auszuführen. Das Problem liegt in der Annahme des MCP, dass alle Tool-Beschreibungen vertrauenswürdig sind, was für die Akteure der Bedrohung Musik in den Ohren ist.

Sie notieren die möglichen Folgen eines kompromittierten Tools:

• KI-Modelle so steuern, dass sie auf sensible Dateien (wie SSH-Schlüssel, Konfigurationsdateien, Datenbanken usw.) zugreifen können;
• Die KI auffordern, diese Daten zu extrahieren und zu übertragen, in einer Umgebung, in der diese böswilligen Aktionen für den uninformierten Benutzer von Natur aus verborgen bleiben.
• Schaffen Sie eine Diskrepanz zwischen dem, was der Benutzer sieht, und dem, was das KI-Modell tut, indem Sie sich hinter täuschend einfachen Darstellungen der Benutzeroberfläche der Argumente und Ausgaben der Tools verstecken.

Es handelt sich um eine besorgniserregende neue Kategorie von Schwachstellen, die mit der unvermeidlichen Zunahme der Nutzung von MCPs sicherlich immer häufiger auftreten wird. Es müssen sorgfältige Maßnahmen ergriffen werden, um diese Bedrohung im Zuge der Weiterentwicklung der Sicherheitsprogramme des Unternehmens zu erkennen und zu mindern, und es ist von entscheidender Bedeutung, die Entwickler angemessen auf ihre Mitwirkung an der Lösung vorzubereiten.

Warum sollten nur Entwickler mit Sicherheitskenntnissen von agentenbasierten KI-Tools profitieren?

Die Codierungswerkzeuge von Agentic AI gelten als die nächste Evolutionsstufe der KI-gestützten Codierung, da sie die Effizienz, Produktivität und Flexibilität bei der Softwareentwicklung weiter steigern. Ihre verbesserte Fähigkeit, den Kontext und die Absichten zu verstehen, macht sie besonders nützlich, aber sie sind nicht immun gegen Bedrohungen wie schnelle Injektionen, Halluzinationen oder Verhaltensmanipulationen durch Angreifer.

Entwickler bilden die Verteidigungslinie zwischen guten und schlechten Code-Validierungen, und es wird von grundlegender Bedeutung sein, sowohl die Kompetenzen im Bereich Sicherheit als auch das kritische Denken für die Zukunft der Entwicklung sicherer Software aufrechtzuerhalten.

Die Ergebnisse der KI sollten niemals blind vertraut werden, und nur erfahrene Entwickler mit Sicherheitsbewusstsein, die kontextbezogen und kritisch denken, können die Produktivitätsvorteile dieser Technologie sicher nutzen. Dennoch muss es sich um eine Umgebung handeln, in der zu zweit programmiert wird und in der der menschliche Experte in der Lage ist, die Bedrohungen zu bewerten, zu modellieren und letztendlich die vom Tool erstellte Arbeit zu genehmigen.

Entdecken Sie hier, wie Entwickler ihre Fähigkeiten verbessern und ihre Produktivität dank KI steigern können.

Praktische Techniken zur Schadensminderung und weiterführende Literatur in unserem neuesten Forschungsartikel

KI-basierte Codierungswerkzeuge und die MCP-Technologie werden in Zukunft eine wichtige Rolle für die Cybersicherheit spielen, aber es ist wichtig, dass wir uns nicht darauf stürzen, bevor wir das Terrain überprüft haben.

Narajala und Habler beschreiben in ihrem Artikel umfassende Strategien zur Umsetzung des MCP auf Unternehmensebene und zum kontinuierlichen Management der damit verbundenen Risiken. Im Mittelpunkt stehen dabei die Prinzipien der tiefgreifenden Verteidigung und des Nullvertrauens, die explizit auf das einzigartige Risikoprofil ausgerichtet sind, das dieses neue Ökosystem für eine Unternehmensumgebung mit sich bringt. Insbesondere für Entwickler ist es unerlässlich, Wissenslücken in den folgenden Bereichen zu schließen:

• Authentifizierung und Zugriffskontrolle: Agente-basierte KI-Tools ermöglichen es, Probleme zu lösen und autonome Entscheidungen zu treffen, um die ihnen gesetzten Ziele zu erreichen, ähnlich wie ein Mensch technische Aufgaben angehen würde. Wie bereits festgestellt, darf jedoch eine qualifizierte menschliche Überwachung dieser Prozesse nicht außer Acht gelassen werden, und Entwickler, die diese Tools in ihren Arbeitsabläufen einsetzen, müssen genau verstehen, über welche Zugriffsrechte sie verfügen, welche Daten sie abrufen oder offenlegen können und wo diese Daten weitergegeben werden können.
• Allgemeine Erkennung und Minderung von Bedrohungen: Wie bei den meisten KI-Prozessen muss der Benutzer selbst die Aufgabe beherrschen, um potenzielle Schwachstellen und Ungenauigkeiten in den Ergebnissen des Tools zu erkennen. Entwickler müssen diese Fähigkeiten kontinuierlich aktualisieren und überprüfen, um Sicherheitsprozesse effektiv zu überarbeiten und den von der KI generierten Code mit Präzision und Autorität in Sicherheitsfragen zu überprüfen.
• Harmonisierung mit der Sicherheitspolitik und der KI-Governance: Entwickler müssen über zugelassene Tools informiert werden und die Möglichkeit haben, ihre Kompetenzen zu verbessern und auf diese Tools zuzugreifen. Sowohl der Entwickler als auch das Tool müssen einer vergleichenden Sicherheitsanalyse unterzogen werden, bevor Commits genehmigt werden.

Wir haben kürzlich ein Forschungsdokument über das Aufkommen der Vibrationscodierung und der KI-gestützten Codierung sowie über die Maßnahmen veröffentlicht, die Unternehmen ergreifen müssen, um die nächste Generation von KI-gestützten Software-Ingenieuren auszubilden. Lesen Sie es und kontaktieren Sie uns, um Ihr Entwicklungsteam noch heute zu verstärken.