Wenn gute Werkzeuge schlecht werden: KI-Werkzeugvergiftung und wie Sie verhindern können, dass Ihre KI als Doppelagent fungiert

KI-gestützte Entwicklung(oder, in einer populäreren Version, „Atmosphärencodierung“) hat einen enormen transformativen Einfluss auf die Codeerstellung. Erfahrene Entwickler nutzen diese Tools in Scharen, und diejenigen unter uns, die schon immer ihre eigene Software erstellen wollten, aber nicht über die entsprechende Erfahrung verfügen, nutzen sie, um Assets zu erstellen, deren Kosten und Zeitaufwand bisher zu hoch waren. Obwohl diese Technologie eine neue Ära der Innovation einläuten könnte, bringt sie auch eine Reihe neuer Schwachstellen und Risikoprofile mit sich, an deren Behebung Sicherheitsverantwortliche derzeit arbeiten.

Eine kürzlich entdeckte Schwachstelle in InvariantLabs wurde im Model Context Protocol (MCP) gefunden, einem API-ähnlichen Framework, das leistungsstarken KI-Tools die autonome Interaktion mit anderer Software und Datenbanken ermöglicht und sogenannte „Tool-Poisoning-Angriffe“ ermöglicht, eine neue Kategorie von Schwachstellen, die Unternehmen besonders großen Schaden zufügen kann. Auch führende KI-Tools wie Windsurf und Cursor sind davon nicht ausgenommen. Für Millionen von Nutzern sind das Bewusstsein und die Fähigkeiten zum Umgang mit diesem neu auftretenden Sicherheitsproblem von entscheidender Bedeutung.

Derzeit sind die Ergebnisse dieser Tools nicht immer sicher genug, um sie als unternehmensfähig zu kennzeichnen, wie in einer aktuellen Forschungsarbeit der AWS- und Intuit-Sicherheitsforscher Vineeth Sai Narajala und Idan Habler dargelegt wird:„Da KI-Systeme immer autonomer werden und beginnen, über Dinge wie MCP direkt mit externen Tools und Echtzeitdaten zu interagieren, ist es absolut unerlässlich, die Sicherheit dieser Interaktionen zu gewährleisten.“

Risikoprofil für die Vertretung von KI-Systemen und Modellkontextprotokollen

Das Model Context Protocol ist eine praktische Software, die von Anthropic entwickelt wurde und eine bessere, nahtlosere Integration zwischen großen Sprachmodellen (LLM), KI-Agenten und anderen Tools ermöglicht. Dies ist ein leistungsstarker Anwendungsfall, der eine Welt voller Möglichkeiten zwischen proprietären Anwendungen und geschäftskritischen SaaS-Tools wie GitHub eröffnet, die mit modernsten KI-Lösungen interagieren können. Schreiben Sie einfach einen MCP-Serverund dann Richtlinien festzulegen, wie es funktionieren und was es leisten soll.

Tatsächlich hat die MCP-Technologie überwiegend positive Auswirkungen auf die Sicherheit. Das Versprechen einer direkteren Integration zwischen LLM und den von Sicherheitsexperten verwendeten Technologie-Stacks ist zu verlockend,dass es nicht ignoriert werden kann. Es bietet die Möglichkeit, präzise Sicherheitsaufgaben auf einem bisher unmöglichen Niveau zu automatisieren, zumindest ohne für jede Aufgabe benutzerdefinierten Code schreiben und bereitstellen zu müssen. Angesichts der Tatsache, dass eine umfassende Sichtbarkeit und Konnektivität zwischen Daten, Tools und Mitarbeitern die Grundlage für eine effektive Sicherheitsabwehr und -planung bildet, bietet MCP durch die Verbesserung der Interoperabilität von LLM spannende Perspektiven für die Unternehmenssicherheit.

Die Verwendung von MCP kann jedoch andere potenzielle Bedrohungsträger mit sich bringen, die ohne sorgfältige Verwaltung die Angriffsfläche eines Unternehmens erheblich vergrößern können. Wie vom Unchanging Labaufgezeigt ,stellen Tool-Poisoning-Angriffeeine neue Kategorie von Schwachstellen dar, die dazu führen können, dass KI-Modelle sensible Daten preisgeben und unbefugte Operationen ausführen. Seitdem ist die Sicherheitslage schnell sehr düster geworden.

InvariantLabs weist darauf hin, dass Tool-Infektionsangriffe möglich werden, wenn böswillige Befehle in die Beschreibung eines MCP-Tools eingebettet sind, die für den Benutzer nicht sichtbar sind, aber vollständig von KI-Modellen gelesen (und ausgeführt) werden können. Dies kann dazu führen, dass das Tool ohne Wissen des Benutzers unbefugte schädliche Aktionen ausführt. Das Problem liegt in der Annahme von MCP, dass alle Tool-Beschreibungen vertrauenswürdig sind, was für Angreifer geradezu ideal ist.

Sie haben die folgenden möglichen Folgen beschädigter Werkzeuge festgestellt:

• AI-Modellen den Zugriff auf sensible Dateien (wie SSH-Schlüssel, Konfigurationsdateien, Datenbanken usw.) erlauben;
• Weisen Sie die KI an, diese Daten in einer Umgebung zu extrahieren und zu übertragen, in der diese böswilligen Handlungen vor ahnungslosen Benutzern verborgen bleiben.
• Durch das Verbergen hinter scheinbar einfachen Werkzeugparametern und der Darstellung der Benutzeroberfläche wird eine Diskrepanz zwischen dem, was der Benutzer sieht, und den Operationen des KI-Modells geschaffen.

Dies ist eine besorgniserregende Kategorie von Sicherheitslücken, die mit dem unvermeidlichen Anstieg der MCP-Nutzung mit ziemlicher Sicherheit häufiger auftreten wird. Im Zuge der Weiterentwicklung von Unternehmenssicherheitsprogrammen werden vorsichtige Maßnahmen zur Erkennung und Eindämmung dieser Bedrohung ergriffen werden, wobei es von entscheidender Bedeutung ist, dass Entwickler gut auf die Mitwirkung an Lösungen vorbereitet sind.

Warum können nur Entwickler mit Sicherheitskenntnissen KI-Tools nutzen?

Agentische KI-Codierungswerkzeuge gelten als die nächste Evolutionsstufe der KI-gestützten Codierung und steigern die Effizienz, Produktivität und Flexibilität in der Softwareentwicklung. Ihre verbesserte Fähigkeit, Kontext und Absichten zu verstehen, macht sie besonders nützlich, aber sie sind nicht immun gegen Bedrohungen wie sofortige Injektionen, Halluzinationen oder Verhaltensmanipulationen durch Angreifer.

Entwickler sind die Verteidigungslinie zwischen guten und schlechten Code-Einreichungen. Die Aufrechterhaltung einer scharfen Sicherheitswahrnehmung und kritischen Denkens wird die Grundlage für die zukünftige Entwicklung sicherer Software sein.

Man darf sich nicht blind auf die Ergebnisse künstlicher Intelligenz verlassen. Nur Entwickler mit Sicherheitsfachwissen, die über kritisches Denken in Bezug auf den Kontext verfügen, können die Produktivitätssteigerung, die diese Technologie mit sich bringt, sicher nutzen. Dennoch muss dies in einer Umgebung mit paarweiser Programmierung geschehen, in der menschliche Experten die Arbeit des Tools bewerten, Bedrohungen modellieren und schließlich genehmigen können.

Erfahren Sie hiermehr darüber, wie Entwickler mithilfe von KI ihre Fähigkeiten verbessern und ihre Arbeitseffizienz steigern können.

Praktische Entspannungstechniken und mehr aus unserer neuesten Forschungsarbeit

Künstliche Intelligenz-Codierungstools und MCP-Technologie werden zweifellos zu wichtigen Faktoren für die Cybersicherheit der Zukunft werden, aber es ist von entscheidender Bedeutung, dass wir nicht tauchen, bevor wir die Gewässer untersucht haben.

Narajala und Habler beschreiben in ihrem Artikel detailliert umfassende Strategien zur Risikominderung und zum kontinuierlichen Risikomanagement bei der Implementierung von MCP auf Unternehmensebene. Letztendlich konzentriert sich der Artikel auf die Prinzipien der tiefgreifenden Verteidigung und des Zero Trust und beleuchtet die besonderen Risiken, die dieses neue Ökosystem für die Unternehmensumgebung mit sich bringt. Insbesondere für Entwickler ist es von entscheidender Bedeutung, Wissenslücken in den folgenden Bereichen zu schließen:

• Identitätsprüfung und Zugriffskontrolle: Agente-basierte KI-Tools dienen dazu, Probleme zu lösen und autonome Entscheidungen zu treffen, um die für sie festgelegten Ziele zu erreichen. Dies entspricht in etwa der Art und Weise, wie Menschen technische Aufgaben bearbeiten. Wie wir jedoch bereits festgestellt haben, darf die fachkundige manuelle Überwachung dieser Prozesse nicht vernachlässigt werden. Entwickler, die diese Tools in ihren Arbeitsabläufen einsetzen, müssen genau wissen, über welche Zugriffsrechte sie verfügen, welche Daten sie abrufen oder möglicherweise offenlegen und wo diese Daten weitergegeben werden können.
• Allgemeine Erkennung und Minderung von Bedrohungen: Wie bei den meisten KI-Prozessen müssen Benutzer selbst mit den Aufgaben vertraut sein, um potenzielle Mängel und Ungenauigkeiten in den Tool-Ausgaben zu erkennen. Entwickler müssen sich kontinuierlich weiterbilden und ihre Fähigkeiten regelmäßig überprüfen lassen, um Sicherheitsprozesse effektiv zu überprüfen und den von KI generierten Code mit Sicherheit und Autorität zu überprüfen.
• Übereinstimmung mit Sicherheitsrichtlinien und KI-Governance: Entwickler sollten über zugelassene Tools informiert werden und die Möglichkeit erhalten, ihre Fähigkeiten zu verbessern und Nutzungsrechte zu erwerben. Sowohl Entwickler als auch Tools sollten vor der Übermittlung einer Vertrauensübermittlung einem Sicherheits-Benchmark-Test unterzogen werden.

Wir haben kürzlich eine Forschungsarbeit über die Entstehung von Atmosphärencodierung und KI-gestützter Codierung sowie über die Maßnahmen veröffentlicht, die Unternehmen ergreifen müssen, um die nächste Generation von KI-gesteuerten Softwareentwicklern zu fördern. Sehen Sie sich die Arbeit jetzt an und kontaktieren Sie uns, um Ihr Entwicklungsteam zu stärken.