Kritisches Denken in der KI-gestützten sicheren Softwareentwicklung

Eine Version dieses Artikels erschien in Cybersecurity Insiders. Er wurde aktualisiert und hier syndiziert.

‍

Der Einsatz von Assistenten der künstlichen Intelligenz, die von Large Language Model (LLM) Code-Erstellern bis hin zu hochentwickelten agentenbasierten KI-Agenten reichen, bietet Softwareentwicklern eine Fülle von Vorteilen. Jüngste Erkenntnisse, die durch eine neue MIT-Studie unterstrichen werden, geben jedoch eine Warnung aus: Die starke Abhängigkeit von KI könnte dazu führen, dass Nutzer ihre Fähigkeiten zum kritischen Denken verlieren.

In einer Software-Landschaft, in der die KI-bezogenen Sicherheitsrisiken im Gleichschritt mit der KI-Einführung gewachsen sind, könnte dieser Verlust an kognitiver Fitness tatsächlich zu katastrophalen Ergebnissen führen. Es ist ein ethischer Imperativ für Entwickler und Unternehmen, Sicherheitsschwachstellen proaktiv und frühzeitig im Softwareentwicklungszyklus (SDLC) zu erkennen, zu verstehen und zu entschärfen. Diejenigen, die diese Pflicht vernachlässigen, und das sind heute erschreckenderweise viele Unternehmen, sehen sich mit einem ebenso starken Anstieg potenzieller Sicherheitsbedrohungen konfrontiert, von denen einige direkt auf die KI zurückzuführen sind.

Die Debatte dreht sich nicht um die Frage, ob KI eingesetzt werden soll, denn die Produktivitäts- und Effizienzvorteile sind zu groß, um sie auszuschließen. Die eigentliche Frage ist vielmehr, wie sie am effektivsten eingesetzt werden kann: Gewährleistung der Sicherheit bei gleichzeitiger Maximierung der Leistungssteigerung. Und das geht am besten mit sicherheitsbewussten Entwicklern, die ihren Code genau verstehen, unabhängig davon, wo er entstanden ist.

Übermäßiges Vertrauen in KI birgt das Risiko eines kognitiven Rückgangs

In der Anfang Juni veröffentlichten Studie des Media Lab des MIT wurden die kognitiven Funktionen von 54 Studenten aus fünf Universitäten im Großraum Boston getestet, während sie einen Aufsatz schrieben. Die Studenten wurden in drei Gruppen eingeteilt: diejenigen, die ein Large Language Model (LLM) verwendeten, diejenigen, die Suchmaschinen nutzten, und diejenigen, die ohne fremde Hilfe nach alter Schule vorgingen. Das Forschungsteam nutzte die Elektroenzephalographie (EEG), um die Gehirnaktivität der Teilnehmer aufzuzeichnen und das kognitive Engagement und die kognitive Belastung zu bewerten. Das Team fand heraus, dass die Gruppe, die nur mit dem Gehirn arbeitete, die stärkste und weitreichendste neuronale Aktivität aufwies, während die Teilnehmer, die Suchmaschinen benutzten, eine mäßige Aktivität zeigten, und die Teilnehmer, die ein LLM benutzten (in diesem Fall ChatGPT-4 von OpenAI), die geringste Gehirnaktivität aufwiesen.

Dies mag nicht sonderlich überraschen - schließlich wird man weniger nachdenken, wenn man ein Werkzeug einsetzt, das das Denken für einen übernimmt. Die Studie ergab jedoch auch, dass LLM-Nutzer eine schwächere Verbindung zu ihren Arbeiten hatten: 83 % der Studenten hatten Schwierigkeiten, sich an den Inhalt ihrer Aufsätze zu erinnern, selbst nur wenige Minuten nach deren Fertigstellung, und keiner der Teilnehmer konnte genaue Zitate angeben. Im Vergleich zu den anderen Gruppen fehlte das Gefühl der Autorenschaft. Die Teilnehmer, die nur mit dem Gehirn arbeiteten, hatten nicht nur das größte Verantwortungsgefühl und zeigten die größte Bandbreite an Gehirnaktivität, sondern verfassten auch die originellsten Aufsätze. Die Ergebnisse der LLM-Gruppe waren homogener und wurden von den Juroren leicht als das Werk von KI identifiziert.

Aus der Sicht der Entwickler ist das wichtigste Ergebnis die Beeinträchtigung des kritischen Denkens durch den Einsatz von KI. Der einmalige Einsatz von KI führt zwar nicht unbedingt zu einem Verlust grundlegender Denkfähigkeiten, aber die ständige Nutzung über einen längeren Zeitraum kann dazu führen, dass diese Fähigkeiten verkümmern. Die Studie schlägt eine Möglichkeit vor, das kritische Denken beim Einsatz von KI aufrechtzuerhalten, indem die KI dem Benutzer hilft, anstatt dass der Benutzer der KI hilft. Der eigentliche Schwerpunkt muss jedoch darauf liegen, sicherzustellen, dass die Entwickler über die Sicherheitsfähigkeiten verfügen, die sie benötigen, um sichere Software zu entwickeln, und dass sie diese Fähigkeiten als routinemäßigen, wesentlichen Teil ihrer Arbeit einsetzen.

Ausbildung von Entwicklern: Wesentlich für das KI-gesteuerte Ökosystem

Eine Studie wie die des MIT wird die Einführung von KI nicht aufhalten, die in allen Sektoren voranschreitet. Der "2025 AI Index Report" der Stanford University ergab, dass 78 % der Unternehmen im Jahr 2024 KI einsetzen werden, verglichen mit 55 % im Jahr 2023. Dieses Wachstum wird sich voraussichtlich fortsetzen. Die zunehmende Nutzung geht jedoch mit einem erhöhten Risiko einher: Der Bericht ergab, dass KI-bezogene Cybersicherheitsvorfälle im gleichen Zeitraum um 56 % zunahmen. 

Der Stanford-Bericht unterstreicht die dringende Notwendigkeit einer verbesserten KI-Governance, da er auch feststellt, dass Unternehmen bei der Umsetzung von Sicherheitsvorkehrungen nachlässig sind. Obwohl praktisch alle Unternehmen die Risiken von KI erkennen, unternehmen weniger als zwei Drittel etwas dagegen. Dadurch sind sie einer Vielzahl von Cybersicherheitsbedrohungen ausgesetzt und verstoßen möglicherweise gegen immer strengere gesetzliche Vorschriften.

Wenn die Antwort nicht darin besteht, die Nutzung von KI einzustellen (was niemand tun wird), muss sie darin bestehen, KI sicherer zu nutzen. Die MIT-Studie bietet einen hilfreichen Hinweis darauf, wie man das anstellen kann. In einem vierten Durchgang der Studie teilten die Forscher die LLM-Nutzer in zwei Gruppen ein: diejenigen, die den Aufsatz alleine begannen, bevor sie ChatGPT um Hilfe baten, in der Studie als Brain-to-LLM-Gruppe bezeichnet, und diejenigen, die ChatGPT einen ersten Entwurf ausarbeiten ließen, bevor sie sich persönlich darum kümmerten, als LLM-to-Brain-Gruppe bezeichnet. Die Brain-to-LLM-Gruppe, die KI-Tools nutzte, um einen bereits verfassten Aufsatz umzuschreiben, zeigte eine höhere Erinnerungsleistung und Gehirnaktivität, wobei einige Bereiche denen der Suchmaschinenbenutzer ähnelten. Die LLM-to-Brain-Gruppe, bei der die KI den Aufsatz initiierte, zeigte weniger koordinierte neuronale Aktivität und eine Tendenz zur Verwendung von LLM-Vokabular.

Ein Brain-to-LLM-Ansatz kann dazu beitragen, dass die Gehirne der Benutzer etwas schärfer werden, aber die Entwickler brauchen auch das spezifische Wissen, um Software sicher zu schreiben und den von der KI erzeugten Code kritisch auf Fehler und Sicherheitsrisiken zu prüfen. Sie müssen die Grenzen der KI verstehen, einschließlich ihrer Neigung, Sicherheitslücken wie Schwachstellen für Prompt-Injection-Angriffe einzuführen.

Dies erfordert eine Überarbeitung der Sicherheitsprogramme von Unternehmen, um einen menschenzentrierten SDLC zu gewährleisten, in dem Entwickler im Rahmen einer unternehmensweiten Sicherheitskultur effektiv, flexibel, praxisnah und kontinuierlich weitergebildet werden. Entwickler müssen ihre Fähigkeiten kontinuierlich verbessern, um mit den sich schnell entwickelnden, ausgefeilten Bedrohungen Schritt zu halten, insbesondere mit denen, die durch die herausragende Rolle der KI in der Softwareentwicklung entstehen. Dies schützt beispielsweise vor den immer häufiger auftretenden Prompt-Injection-Angriffen. Doch damit dieser Schutz funktioniert, brauchen Unternehmen eine von den Entwicklern getragene Initiative, die sich auf sichere Entwurfsmuster und Bedrohungsmodellierung konzentriert.

Fazit

Wenn LLMs oder Agenten die schwere Arbeit übernehmen, werden die Nutzer zu passiven Beobachtern. Dies kann, so die Autoren der Studie, zu "geschwächten Fähigkeiten des kritischen Denkens, einem geringeren Verständnis des Materials und einer geringeren Bildung des Langzeitgedächtnisses" führen. Ein geringeres Maß an kognitivem Engagement kann auch zu einer geringeren Entscheidungsfähigkeit führen. 

Unternehmen können sich einen Mangel an kritischem Denken nicht leisten, wenn es um Cybersicherheit geht. Und da Softwarefehler in hochgradig verteilten, cloudbasierten Umgebungen zum Hauptziel von Cyberangreifern geworden sind, beginnt Cybersicherheit mit der Gewährleistung von sicherem Code, unabhängig davon, ob er von Entwicklern, KI-Assistenten oder agentenbasierten Agenten erstellt wird. Bei aller Leistungsfähigkeit der KI brauchen Unternehmen mehr denn je ausgefeilte Fähigkeiten zur Problemlösung und zum kritischen Denken. Und das kann nicht an KI ausgelagert werden.

Die neuen KI-Fähigkeiten von SCW Trust Agent bieten Ihnen die umfassende Beobachtungsmöglichkeit und Kontrolle, die Sie benötigen, um die Einführung von KI in Ihrem SDLC ohne Sicherheitseinbußen zu bewältigen. Erfahren Sie mehr.