SCW-Symbole
Held-Hintergrund ohne Trennlinie
Blog

AI 혁신의 이점을 누리는 것은 보안 코드로 시작하는 데 달려 있습니다.

Secure Code Warrior
Veröffentlicht Apr 09, 2024
Zuletzt aktualisiert am 09. März 2026

Softwareentwickler haben gezeigt, dass sie bereit sind, generative künstliche Intelligenz (KI) zum Schreiben von Code zu nutzen, und sie haben im Allgemeinen einige positive Ergebnisse erzielt. Aber es gibt auch viele Anzeichen dafür, dass sie ein gefährliches Spiel spielen könnten.

Laut einer kürzlich von GitHub durchgeführten Umfrage nutzen mehr als 90 % der US-Entwickler KI-Codierungstools und geben als Vorteile schnellere Fertigstellungszeiten, eine schnellere Lösung von Problemen und ein kollaborativeres Umfeld an, was sie als wichtig erachten. Die Arbeit mit KI-Tools ermöglicht es Entwicklern, Routineaufgaben abzugeben, so dass sie sich kreativeren Aufgaben widmen können, die ihrem Unternehmen zugutekommen, und verringert nicht zuletzt die Gefahr eines Burnouts am Arbeitsplatz.

Studien haben jedoch auch gezeigt, dass KI-Tools dazu neigen, beim Schreiben von Code Fehler zu machen. Eine Umfrage von Snyk ergab, dass zwar 75,8 % der Befragten angaben, dass KI-Code sicherer ist als menschlicher Code, aber 56,4 % räumten ein, dass KI manchmal Probleme bei der Codierung verursacht. Alarmierenderweise gaben 80 % der Befragten an, dass sie die Sicherheitsrichtlinien für KI-Code während der Entwicklung umgehen.

Seit dem Debüt von OpenAIs ChatGPT im November 2022 hat sich der Einsatz generativer KI-Modelle im Code-Entwicklungsprozess von Finanzdienstleistern, wie auch in vielen anderen Bereichen, blitzschnell verbreitet. Das rasche Auftauchen anderer Modelle wie GitHub Copilot, OpenAI Codex und eine wachsende Liste weiterer Modelle deutet darauf hin, dass wir erst an der Oberfläche dessen gekratzt haben, was generative KI leisten kann und welche Auswirkungen sie haben kann. Damit dieser Einfluss jedoch positiv ist, müssen wir sicherstellen, dass der von ihr generierte Code sicher ist.

Programmierfehler können sich schnell verbreiten

Unabhängig davon, ob der Code von menschlichen Entwicklern oder von KI-Modellen erstellt wurde, wird er immer einige Fehler enthalten. Da KI dazu beiträgt, die Code-Entwicklung zu beschleunigen, um den ständig steigenden Anforderungen in hochgradig verteilten, cloudbasierten Computerumgebungen gerecht zu werden, könnte die Wahrscheinlichkeit steigen, dass sich fehlerhafter Code weit verbreitet, bevor er entdeckt wird. 

KI-Modelle, die für das Schreiben von Code trainiert werden, nehmen Tausende von Codebeispielen auf, die verschiedene Aufgaben erfüllen, und können dann auf diese Beispiele zurückgreifen, um ihren eigenen Code zu erstellen. Wenn die Beispiele jedoch Fehler oder Schwachstellen enthalten - unabhängig davon, ob sie ursprünglich von einem Menschen oder einer anderen KI erstellt wurden - könnte das Modell diese Fehler auf eine neue Umgebung übertragen. 

Da die Forschung gezeigt hat, dass KI-Modelle nicht in der Lage sind, Fehler in dem von ihnen verwendeten Code zuverlässig zu erkennen, gibt es kaum einen eingebauten Schutz gegen die Verbreitung von Fehlern und Schwachstellen. KI wird nicht nur Fehler bei der Programmierung machen, sondern auch ihre eigenen Fehler und die anderer Quellen wiederholen, bis die Schwachstelle irgendwann entdeckt wird - vielleicht in Form eines erfolgreichen Einbruchs in ein Unternehmen, das die von ihr erstellte Software nutzt.

Der wirkliche Schutz gegen die Verbreitung von Programmierfehlern besteht darin, dass Menschen und KI-Modelle zusammenarbeiten. Menschliche Entwickler sollten das Schreiben von KI-Code überwachen und als Kontrolle gegen unsichere Codierungspraktiken und anfälligen Code dienen. Dazu müssen die Entwickler jedoch gründlich in den bewährten Verfahren für die Erstellung von sicherem Code geschult werden, damit sie mögliche KI-Fehler erkennen und schnell korrigieren können.

Die Herausforderungen der KI-Code-Erstellung und -Beseitigung

Die plötzliche Explosion großer Sprachmodelle (LLMs) wie ChatGPT war eine Art zweischneidiges Schwert. Auf der einen Seite haben Unternehmen und alltägliche Nutzer enorme Produktivitätsgewinne durch den Einsatz von KI zur Erledigung zeitraubender, lästiger oder schwieriger Aufgaben erlebt. Auf der anderen Seite gibt es viele Beispiele dafür, was schief gehen kann, wenn man KI blindlings die Arbeit überlässt.

KI-Modelle haben eklatante Fehler gemacht, Voreingenommenheit gezeigt und regelrechte Halluzinationen erzeugt. In vielen Fällen lag die Ursache für das Problem in unzureichenden oder unverantwortlichen Trainingsdaten. Jedes KI-Modell ist nur so gut wie die Daten, mit denen es trainiert wurde. Deshalb ist es wichtig, dass die Trainingsdaten umfassend und sorgfältig geprüft sind. Aber auch dann werden Fehler gemacht.

Die Verwendung von KI für die Programmierung steht vor vielen der gleichen Hürden. Es hat sich gezeigt, dass von KI generierter Code eine Reihe von Schwachstellen enthält, z. B. Anfälligkeiten für Cross-Site-Scripting und Code-Injection sowie Angriffe, die speziell auf KI und maschinelles Lernen (ML) ausgerichtet sind, wie z. B. Prompt-Injection. KI-Modelle arbeiten auch als Blackbox, weil ihre Prozesse nicht transparent sind, so dass ein Sicherheits- oder Entwicklungsteam nicht sehen kann, wie eine KI zu ihren Schlussfolgerungen kommt. Infolgedessen kann das Modell die gleichen Fehler immer wiederholen. Die gleichen Unzulänglichkeiten, die sich auf das Schreiben von Code auswirken können, gelten auch für den Einsatz von KI zur Codebereinigung und zur Erfüllung von Compliance-Anforderungen. 

Das Potenzial für Fehler, die von KI-Modellen erzeugt oder wiederholt werden, ist so groß, dass LLMs jetzt eine eigene Liste der zehn größten Schwachstellen des Open Web Application Security Project (OWASP) haben.

Entwickler und KI können zusammenarbeiten, um sicheren Code zu erstellen

Bedenken hinsichtlich möglicher Fehler in KI-generiertem Code könnten einige Unternehmen, wenn auch nur kurz, davon abhalten, die Technologie weiter zu nutzen. Aber die potenziellen Vorteile sind zu groß, um sie zu ignorieren, vor allem, wenn die KI-Entwickler ihre Modelle weiter innovativ gestalten und verbessern. Es ist unwahrscheinlich, dass die Finanzdienstleistungsbranche den Geist wieder in die Flasche stecken wird. Banken und Finanzdienstleister sind bereits technologiegetrieben und in einem Bereich tätig, in dem sie immer auf der Suche nach einem Wettbewerbsvorteil sind. 

Der Schlüssel liegt darin, KI-Modelle so zu implementieren, dass das Risiko minimiert wird. Und das bedeutet, dass die Entwickler über ein Sicherheitsbewusstsein verfügen und gründlich in den Best Practices für die sichere Programmierung geschult sind, damit sie selbst sicheren Code schreiben und den von den KI-Modellen erzeugten Code genau überwachen können. Wenn KI-Engines und menschliche Entwickler in enger Partnerschaft zusammenarbeiten und die Entwickler das letzte Wort haben, können Unternehmen die Vorteile einer verbesserten Produktivität und Effizienz nutzen und gleichzeitig die Sicherheit verbessern, Risiken begrenzen und die Einhaltung von Vorschriften gewährleisten. 

Einen umfassenden Überblick darüber, wie sichere Kodierung den Erfolg, die Sicherheit und die Gewinne von Finanzdienstleistungsunternehmen gewährleisten kann, finden Sie in dem neu veröffentlichten Leitfaden Secure Code Warrior : Der ultimative Leitfaden für Sicherheitstrends im Finanzdienstleistungssektor.

Besuchen Sie die Secure Code Warrior Blog-Seiten, um mehr über Cybersicherheit und die zunehmend gefährliche Bedrohungslage zu erfahren und um zu lernen, wie Sie innovative Technologien und Schulungen einsetzen können, um Ihr Unternehmen und Ihre Kunden besser zu schützen.

Ressourcen anzeigen
Ressourcen anzeigen

제너레이티브 AI는 금융 서비스 기업에 많은 이점을 제공할 뿐만 아니라 많은 잠재적 위험도 제공합니다.개발자에게 보안 모범 사례를 교육하고 이를 AI 모델과 연계하면 처음부터 보안 코드를 만드는 데 도움이 될 수 있습니다.

Sind Sie an weiteren Informationen interessiert?

Secure Code Warrior macht sicheres Programmieren zu einer positiven und fesselnden Erfahrung für Entwickler, die ihre Fähigkeiten ausbauen. Wir leiten jeden Programmierer auf seinem bevorzugten Lernpfad an, damit sicherheitskompetente Entwickler zu den täglichen Superhelden unserer vernetzten Welt werden.

mehr erfahren

Secure Code Warrior ist für Unternehmen da, um den Code während des gesamten Softwareentwicklungszyklus zu schützen und eine Kultur zu schaffen, in der Cybersicherheit oberste Priorität hat. Unabhängig davon, ob Sie AppSec-Manager, Entwickler, CISO oder in einem anderen Bereich der Sicherheit tätig sind, können wir Ihnen dabei helfen, die Risiken zu reduzieren, die mit unsicherem Code verbunden sind.

Demo-Termin vereinbaren
Freigabeziel:
LinkedIn-MarkenSozialx Logo
Verfasser
Secure Code Warrior
Veröffentlicht Apr 09, 2024

Secure Code Warrior macht sicheres Programmieren zu einer positiven und fesselnden Erfahrung für Entwickler, die ihre Fähigkeiten ausbauen. Wir leiten jeden Programmierer auf seinem bevorzugten Lernpfad an, damit sicherheitskompetente Entwickler zu den täglichen Superhelden unserer vernetzten Welt werden.

Dieser Artikel wurde verfasst von Secure Code Warrior Das Team von Branchenexperten hat es sich zur Aufgabe gemacht, Entwicklern das Wissen und die Fähigkeiten zu vermitteln, die sie brauchen, um von Anfang an sichere Software zu entwickeln. Dabei stützen wir uns auf umfassendes Fachwissen zu sicheren Codierungspraktiken, Branchentrends und Erkenntnissen aus der Praxis.

Freigabeziel:
LinkedIn-MarkenSozialx Logo

Softwareentwickler haben gezeigt, dass sie bereit sind, generative künstliche Intelligenz (KI) zum Schreiben von Code zu nutzen, und sie haben im Allgemeinen einige positive Ergebnisse erzielt. Aber es gibt auch viele Anzeichen dafür, dass sie ein gefährliches Spiel spielen könnten.

Laut einer kürzlich von GitHub durchgeführten Umfrage nutzen mehr als 90 % der US-Entwickler KI-Codierungstools und geben als Vorteile schnellere Fertigstellungszeiten, eine schnellere Lösung von Problemen und ein kollaborativeres Umfeld an, was sie als wichtig erachten. Die Arbeit mit KI-Tools ermöglicht es Entwicklern, Routineaufgaben abzugeben, so dass sie sich kreativeren Aufgaben widmen können, die ihrem Unternehmen zugutekommen, und verringert nicht zuletzt die Gefahr eines Burnouts am Arbeitsplatz.

Studien haben jedoch auch gezeigt, dass KI-Tools dazu neigen, beim Schreiben von Code Fehler zu machen. Eine Umfrage von Snyk ergab, dass zwar 75,8 % der Befragten angaben, dass KI-Code sicherer ist als menschlicher Code, aber 56,4 % räumten ein, dass KI manchmal Probleme bei der Codierung verursacht. Alarmierenderweise gaben 80 % der Befragten an, dass sie die Sicherheitsrichtlinien für KI-Code während der Entwicklung umgehen.

Seit dem Debüt von OpenAIs ChatGPT im November 2022 hat sich der Einsatz generativer KI-Modelle im Code-Entwicklungsprozess von Finanzdienstleistern, wie auch in vielen anderen Bereichen, blitzschnell verbreitet. Das rasche Auftauchen anderer Modelle wie GitHub Copilot, OpenAI Codex und eine wachsende Liste weiterer Modelle deutet darauf hin, dass wir erst an der Oberfläche dessen gekratzt haben, was generative KI leisten kann und welche Auswirkungen sie haben kann. Damit dieser Einfluss jedoch positiv ist, müssen wir sicherstellen, dass der von ihr generierte Code sicher ist.

Programmierfehler können sich schnell verbreiten

Unabhängig davon, ob der Code von menschlichen Entwicklern oder von KI-Modellen erstellt wurde, wird er immer einige Fehler enthalten. Da KI dazu beiträgt, die Code-Entwicklung zu beschleunigen, um den ständig steigenden Anforderungen in hochgradig verteilten, cloudbasierten Computerumgebungen gerecht zu werden, könnte die Wahrscheinlichkeit steigen, dass sich fehlerhafter Code weit verbreitet, bevor er entdeckt wird. 

KI-Modelle, die für das Schreiben von Code trainiert werden, nehmen Tausende von Codebeispielen auf, die verschiedene Aufgaben erfüllen, und können dann auf diese Beispiele zurückgreifen, um ihren eigenen Code zu erstellen. Wenn die Beispiele jedoch Fehler oder Schwachstellen enthalten - unabhängig davon, ob sie ursprünglich von einem Menschen oder einer anderen KI erstellt wurden - könnte das Modell diese Fehler auf eine neue Umgebung übertragen. 

Da die Forschung gezeigt hat, dass KI-Modelle nicht in der Lage sind, Fehler in dem von ihnen verwendeten Code zuverlässig zu erkennen, gibt es kaum einen eingebauten Schutz gegen die Verbreitung von Fehlern und Schwachstellen. KI wird nicht nur Fehler bei der Programmierung machen, sondern auch ihre eigenen Fehler und die anderer Quellen wiederholen, bis die Schwachstelle irgendwann entdeckt wird - vielleicht in Form eines erfolgreichen Einbruchs in ein Unternehmen, das die von ihr erstellte Software nutzt.

Der wirkliche Schutz gegen die Verbreitung von Programmierfehlern besteht darin, dass Menschen und KI-Modelle zusammenarbeiten. Menschliche Entwickler sollten das Schreiben von KI-Code überwachen und als Kontrolle gegen unsichere Codierungspraktiken und anfälligen Code dienen. Dazu müssen die Entwickler jedoch gründlich in den bewährten Verfahren für die Erstellung von sicherem Code geschult werden, damit sie mögliche KI-Fehler erkennen und schnell korrigieren können.

Die Herausforderungen der KI-Code-Erstellung und -Beseitigung

Die plötzliche Explosion großer Sprachmodelle (LLMs) wie ChatGPT war eine Art zweischneidiges Schwert. Auf der einen Seite haben Unternehmen und alltägliche Nutzer enorme Produktivitätsgewinne durch den Einsatz von KI zur Erledigung zeitraubender, lästiger oder schwieriger Aufgaben erlebt. Auf der anderen Seite gibt es viele Beispiele dafür, was schief gehen kann, wenn man KI blindlings die Arbeit überlässt.

KI-Modelle haben eklatante Fehler gemacht, Voreingenommenheit gezeigt und regelrechte Halluzinationen erzeugt. In vielen Fällen lag die Ursache für das Problem in unzureichenden oder unverantwortlichen Trainingsdaten. Jedes KI-Modell ist nur so gut wie die Daten, mit denen es trainiert wurde. Deshalb ist es wichtig, dass die Trainingsdaten umfassend und sorgfältig geprüft sind. Aber auch dann werden Fehler gemacht.

Die Verwendung von KI für die Programmierung steht vor vielen der gleichen Hürden. Es hat sich gezeigt, dass von KI generierter Code eine Reihe von Schwachstellen enthält, z. B. Anfälligkeiten für Cross-Site-Scripting und Code-Injection sowie Angriffe, die speziell auf KI und maschinelles Lernen (ML) ausgerichtet sind, wie z. B. Prompt-Injection. KI-Modelle arbeiten auch als Blackbox, weil ihre Prozesse nicht transparent sind, so dass ein Sicherheits- oder Entwicklungsteam nicht sehen kann, wie eine KI zu ihren Schlussfolgerungen kommt. Infolgedessen kann das Modell die gleichen Fehler immer wiederholen. Die gleichen Unzulänglichkeiten, die sich auf das Schreiben von Code auswirken können, gelten auch für den Einsatz von KI zur Codebereinigung und zur Erfüllung von Compliance-Anforderungen. 

Das Potenzial für Fehler, die von KI-Modellen erzeugt oder wiederholt werden, ist so groß, dass LLMs jetzt eine eigene Liste der zehn größten Schwachstellen des Open Web Application Security Project (OWASP) haben.

Entwickler und KI können zusammenarbeiten, um sicheren Code zu erstellen

Bedenken hinsichtlich möglicher Fehler in KI-generiertem Code könnten einige Unternehmen, wenn auch nur kurz, davon abhalten, die Technologie weiter zu nutzen. Aber die potenziellen Vorteile sind zu groß, um sie zu ignorieren, vor allem, wenn die KI-Entwickler ihre Modelle weiter innovativ gestalten und verbessern. Es ist unwahrscheinlich, dass die Finanzdienstleistungsbranche den Geist wieder in die Flasche stecken wird. Banken und Finanzdienstleister sind bereits technologiegetrieben und in einem Bereich tätig, in dem sie immer auf der Suche nach einem Wettbewerbsvorteil sind. 

Der Schlüssel liegt darin, KI-Modelle so zu implementieren, dass das Risiko minimiert wird. Und das bedeutet, dass die Entwickler über ein Sicherheitsbewusstsein verfügen und gründlich in den Best Practices für die sichere Programmierung geschult sind, damit sie selbst sicheren Code schreiben und den von den KI-Modellen erzeugten Code genau überwachen können. Wenn KI-Engines und menschliche Entwickler in enger Partnerschaft zusammenarbeiten und die Entwickler das letzte Wort haben, können Unternehmen die Vorteile einer verbesserten Produktivität und Effizienz nutzen und gleichzeitig die Sicherheit verbessern, Risiken begrenzen und die Einhaltung von Vorschriften gewährleisten. 

Einen umfassenden Überblick darüber, wie sichere Kodierung den Erfolg, die Sicherheit und die Gewinne von Finanzdienstleistungsunternehmen gewährleisten kann, finden Sie in dem neu veröffentlichten Leitfaden Secure Code Warrior : Der ultimative Leitfaden für Sicherheitstrends im Finanzdienstleistungssektor.

Besuchen Sie die Secure Code Warrior Blog-Seiten, um mehr über Cybersicherheit und die zunehmend gefährliche Bedrohungslage zu erfahren und um zu lernen, wie Sie innovative Technologien und Schulungen einsetzen können, um Ihr Unternehmen und Ihre Kunden besser zu schützen.

Ressourcen anzeigen
Ressourcen anzeigen

Um den Bericht herunterzuladen, füllen Sie bitte das folgende Formular aus.

Wir bitten um Ihre Zustimmung, Ihnen Informationen zu unseren Produkten und/oder verwandten Themen der Sicherheitscodierung zukommen zu lassen. Wir behandeln Ihre personenbezogenen Daten stets mit größter Sorgfalt und verkaufen sie niemals zu Marketingzwecken an andere Unternehmen.

Einreichung
scw Erfolgssymbol
scw-Fehlersymbol
Um das Formular zu senden, aktivieren Sie bitte das „Analytics“-Cookie. Nach Abschluss können Sie es jederzeit wieder deaktivieren.

Softwareentwickler haben gezeigt, dass sie bereit sind, generative künstliche Intelligenz (KI) zum Schreiben von Code zu nutzen, und sie haben im Allgemeinen einige positive Ergebnisse erzielt. Aber es gibt auch viele Anzeichen dafür, dass sie ein gefährliches Spiel spielen könnten.

Laut einer kürzlich von GitHub durchgeführten Umfrage nutzen mehr als 90 % der US-Entwickler KI-Codierungstools und geben als Vorteile schnellere Fertigstellungszeiten, eine schnellere Lösung von Problemen und ein kollaborativeres Umfeld an, was sie als wichtig erachten. Die Arbeit mit KI-Tools ermöglicht es Entwicklern, Routineaufgaben abzugeben, so dass sie sich kreativeren Aufgaben widmen können, die ihrem Unternehmen zugutekommen, und verringert nicht zuletzt die Gefahr eines Burnouts am Arbeitsplatz.

Studien haben jedoch auch gezeigt, dass KI-Tools dazu neigen, beim Schreiben von Code Fehler zu machen. Eine Umfrage von Snyk ergab, dass zwar 75,8 % der Befragten angaben, dass KI-Code sicherer ist als menschlicher Code, aber 56,4 % räumten ein, dass KI manchmal Probleme bei der Codierung verursacht. Alarmierenderweise gaben 80 % der Befragten an, dass sie die Sicherheitsrichtlinien für KI-Code während der Entwicklung umgehen.

Seit dem Debüt von OpenAIs ChatGPT im November 2022 hat sich der Einsatz generativer KI-Modelle im Code-Entwicklungsprozess von Finanzdienstleistern, wie auch in vielen anderen Bereichen, blitzschnell verbreitet. Das rasche Auftauchen anderer Modelle wie GitHub Copilot, OpenAI Codex und eine wachsende Liste weiterer Modelle deutet darauf hin, dass wir erst an der Oberfläche dessen gekratzt haben, was generative KI leisten kann und welche Auswirkungen sie haben kann. Damit dieser Einfluss jedoch positiv ist, müssen wir sicherstellen, dass der von ihr generierte Code sicher ist.

Programmierfehler können sich schnell verbreiten

Unabhängig davon, ob der Code von menschlichen Entwicklern oder von KI-Modellen erstellt wurde, wird er immer einige Fehler enthalten. Da KI dazu beiträgt, die Code-Entwicklung zu beschleunigen, um den ständig steigenden Anforderungen in hochgradig verteilten, cloudbasierten Computerumgebungen gerecht zu werden, könnte die Wahrscheinlichkeit steigen, dass sich fehlerhafter Code weit verbreitet, bevor er entdeckt wird. 

KI-Modelle, die für das Schreiben von Code trainiert werden, nehmen Tausende von Codebeispielen auf, die verschiedene Aufgaben erfüllen, und können dann auf diese Beispiele zurückgreifen, um ihren eigenen Code zu erstellen. Wenn die Beispiele jedoch Fehler oder Schwachstellen enthalten - unabhängig davon, ob sie ursprünglich von einem Menschen oder einer anderen KI erstellt wurden - könnte das Modell diese Fehler auf eine neue Umgebung übertragen. 

Da die Forschung gezeigt hat, dass KI-Modelle nicht in der Lage sind, Fehler in dem von ihnen verwendeten Code zuverlässig zu erkennen, gibt es kaum einen eingebauten Schutz gegen die Verbreitung von Fehlern und Schwachstellen. KI wird nicht nur Fehler bei der Programmierung machen, sondern auch ihre eigenen Fehler und die anderer Quellen wiederholen, bis die Schwachstelle irgendwann entdeckt wird - vielleicht in Form eines erfolgreichen Einbruchs in ein Unternehmen, das die von ihr erstellte Software nutzt.

Der wirkliche Schutz gegen die Verbreitung von Programmierfehlern besteht darin, dass Menschen und KI-Modelle zusammenarbeiten. Menschliche Entwickler sollten das Schreiben von KI-Code überwachen und als Kontrolle gegen unsichere Codierungspraktiken und anfälligen Code dienen. Dazu müssen die Entwickler jedoch gründlich in den bewährten Verfahren für die Erstellung von sicherem Code geschult werden, damit sie mögliche KI-Fehler erkennen und schnell korrigieren können.

Die Herausforderungen der KI-Code-Erstellung und -Beseitigung

Die plötzliche Explosion großer Sprachmodelle (LLMs) wie ChatGPT war eine Art zweischneidiges Schwert. Auf der einen Seite haben Unternehmen und alltägliche Nutzer enorme Produktivitätsgewinne durch den Einsatz von KI zur Erledigung zeitraubender, lästiger oder schwieriger Aufgaben erlebt. Auf der anderen Seite gibt es viele Beispiele dafür, was schief gehen kann, wenn man KI blindlings die Arbeit überlässt.

KI-Modelle haben eklatante Fehler gemacht, Voreingenommenheit gezeigt und regelrechte Halluzinationen erzeugt. In vielen Fällen lag die Ursache für das Problem in unzureichenden oder unverantwortlichen Trainingsdaten. Jedes KI-Modell ist nur so gut wie die Daten, mit denen es trainiert wurde. Deshalb ist es wichtig, dass die Trainingsdaten umfassend und sorgfältig geprüft sind. Aber auch dann werden Fehler gemacht.

Die Verwendung von KI für die Programmierung steht vor vielen der gleichen Hürden. Es hat sich gezeigt, dass von KI generierter Code eine Reihe von Schwachstellen enthält, z. B. Anfälligkeiten für Cross-Site-Scripting und Code-Injection sowie Angriffe, die speziell auf KI und maschinelles Lernen (ML) ausgerichtet sind, wie z. B. Prompt-Injection. KI-Modelle arbeiten auch als Blackbox, weil ihre Prozesse nicht transparent sind, so dass ein Sicherheits- oder Entwicklungsteam nicht sehen kann, wie eine KI zu ihren Schlussfolgerungen kommt. Infolgedessen kann das Modell die gleichen Fehler immer wiederholen. Die gleichen Unzulänglichkeiten, die sich auf das Schreiben von Code auswirken können, gelten auch für den Einsatz von KI zur Codebereinigung und zur Erfüllung von Compliance-Anforderungen. 

Das Potenzial für Fehler, die von KI-Modellen erzeugt oder wiederholt werden, ist so groß, dass LLMs jetzt eine eigene Liste der zehn größten Schwachstellen des Open Web Application Security Project (OWASP) haben.

Entwickler und KI können zusammenarbeiten, um sicheren Code zu erstellen

Bedenken hinsichtlich möglicher Fehler in KI-generiertem Code könnten einige Unternehmen, wenn auch nur kurz, davon abhalten, die Technologie weiter zu nutzen. Aber die potenziellen Vorteile sind zu groß, um sie zu ignorieren, vor allem, wenn die KI-Entwickler ihre Modelle weiter innovativ gestalten und verbessern. Es ist unwahrscheinlich, dass die Finanzdienstleistungsbranche den Geist wieder in die Flasche stecken wird. Banken und Finanzdienstleister sind bereits technologiegetrieben und in einem Bereich tätig, in dem sie immer auf der Suche nach einem Wettbewerbsvorteil sind. 

Der Schlüssel liegt darin, KI-Modelle so zu implementieren, dass das Risiko minimiert wird. Und das bedeutet, dass die Entwickler über ein Sicherheitsbewusstsein verfügen und gründlich in den Best Practices für die sichere Programmierung geschult sind, damit sie selbst sicheren Code schreiben und den von den KI-Modellen erzeugten Code genau überwachen können. Wenn KI-Engines und menschliche Entwickler in enger Partnerschaft zusammenarbeiten und die Entwickler das letzte Wort haben, können Unternehmen die Vorteile einer verbesserten Produktivität und Effizienz nutzen und gleichzeitig die Sicherheit verbessern, Risiken begrenzen und die Einhaltung von Vorschriften gewährleisten. 

Einen umfassenden Überblick darüber, wie sichere Kodierung den Erfolg, die Sicherheit und die Gewinne von Finanzdienstleistungsunternehmen gewährleisten kann, finden Sie in dem neu veröffentlichten Leitfaden Secure Code Warrior : Der ultimative Leitfaden für Sicherheitstrends im Finanzdienstleistungssektor.

Besuchen Sie die Secure Code Warrior Blog-Seiten, um mehr über Cybersicherheit und die zunehmend gefährliche Bedrohungslage zu erfahren und um zu lernen, wie Sie innovative Technologien und Schulungen einsetzen können, um Ihr Unternehmen und Ihre Kunden besser zu schützen.

Webinar ansehen
Beginnen
mehr erfahren

Klicken Sie auf den folgenden Link und laden Sie die PDF-Datei dieser Ressource herunter.

Secure Code Warrior ist für Unternehmen da, um den Code während des gesamten Softwareentwicklungszyklus zu schützen und eine Kultur zu schaffen, in der Cybersicherheit oberste Priorität hat. Unabhängig davon, ob Sie AppSec-Manager, Entwickler, CISO oder in einem anderen Bereich der Sicherheit tätig sind, können wir Ihnen dabei helfen, die Risiken zu reduzieren, die mit unsicherem Code verbunden sind.

Bericht anzeigenDemo-Termin vereinbaren
Ressourcen anzeigen
Freigabeziel:
LinkedIn-MarkenSozialx Logo
Sind Sie an weiteren Informationen interessiert?

Freigabeziel:
LinkedIn-MarkenSozialx Logo
Verfasser
Secure Code Warrior
Veröffentlicht Apr 09, 2024

Secure Code Warrior macht sicheres Programmieren zu einer positiven und fesselnden Erfahrung für Entwickler, die ihre Fähigkeiten ausbauen. Wir leiten jeden Programmierer auf seinem bevorzugten Lernpfad an, damit sicherheitskompetente Entwickler zu den täglichen Superhelden unserer vernetzten Welt werden.

Dieser Artikel wurde verfasst von Secure Code Warrior Das Team von Branchenexperten hat es sich zur Aufgabe gemacht, Entwicklern das Wissen und die Fähigkeiten zu vermitteln, die sie brauchen, um von Anfang an sichere Software zu entwickeln. Dabei stützen wir uns auf umfassendes Fachwissen zu sicheren Codierungspraktiken, Branchentrends und Erkenntnissen aus der Praxis.

Freigabeziel:
LinkedIn-MarkenSozialx Logo

Softwareentwickler haben gezeigt, dass sie bereit sind, generative künstliche Intelligenz (KI) zum Schreiben von Code zu nutzen, und sie haben im Allgemeinen einige positive Ergebnisse erzielt. Aber es gibt auch viele Anzeichen dafür, dass sie ein gefährliches Spiel spielen könnten.

Laut einer kürzlich von GitHub durchgeführten Umfrage nutzen mehr als 90 % der US-Entwickler KI-Codierungstools und geben als Vorteile schnellere Fertigstellungszeiten, eine schnellere Lösung von Problemen und ein kollaborativeres Umfeld an, was sie als wichtig erachten. Die Arbeit mit KI-Tools ermöglicht es Entwicklern, Routineaufgaben abzugeben, so dass sie sich kreativeren Aufgaben widmen können, die ihrem Unternehmen zugutekommen, und verringert nicht zuletzt die Gefahr eines Burnouts am Arbeitsplatz.

Studien haben jedoch auch gezeigt, dass KI-Tools dazu neigen, beim Schreiben von Code Fehler zu machen. Eine Umfrage von Snyk ergab, dass zwar 75,8 % der Befragten angaben, dass KI-Code sicherer ist als menschlicher Code, aber 56,4 % räumten ein, dass KI manchmal Probleme bei der Codierung verursacht. Alarmierenderweise gaben 80 % der Befragten an, dass sie die Sicherheitsrichtlinien für KI-Code während der Entwicklung umgehen.

Seit dem Debüt von OpenAIs ChatGPT im November 2022 hat sich der Einsatz generativer KI-Modelle im Code-Entwicklungsprozess von Finanzdienstleistern, wie auch in vielen anderen Bereichen, blitzschnell verbreitet. Das rasche Auftauchen anderer Modelle wie GitHub Copilot, OpenAI Codex und eine wachsende Liste weiterer Modelle deutet darauf hin, dass wir erst an der Oberfläche dessen gekratzt haben, was generative KI leisten kann und welche Auswirkungen sie haben kann. Damit dieser Einfluss jedoch positiv ist, müssen wir sicherstellen, dass der von ihr generierte Code sicher ist.

Programmierfehler können sich schnell verbreiten

Unabhängig davon, ob der Code von menschlichen Entwicklern oder von KI-Modellen erstellt wurde, wird er immer einige Fehler enthalten. Da KI dazu beiträgt, die Code-Entwicklung zu beschleunigen, um den ständig steigenden Anforderungen in hochgradig verteilten, cloudbasierten Computerumgebungen gerecht zu werden, könnte die Wahrscheinlichkeit steigen, dass sich fehlerhafter Code weit verbreitet, bevor er entdeckt wird. 

KI-Modelle, die für das Schreiben von Code trainiert werden, nehmen Tausende von Codebeispielen auf, die verschiedene Aufgaben erfüllen, und können dann auf diese Beispiele zurückgreifen, um ihren eigenen Code zu erstellen. Wenn die Beispiele jedoch Fehler oder Schwachstellen enthalten - unabhängig davon, ob sie ursprünglich von einem Menschen oder einer anderen KI erstellt wurden - könnte das Modell diese Fehler auf eine neue Umgebung übertragen. 

Da die Forschung gezeigt hat, dass KI-Modelle nicht in der Lage sind, Fehler in dem von ihnen verwendeten Code zuverlässig zu erkennen, gibt es kaum einen eingebauten Schutz gegen die Verbreitung von Fehlern und Schwachstellen. KI wird nicht nur Fehler bei der Programmierung machen, sondern auch ihre eigenen Fehler und die anderer Quellen wiederholen, bis die Schwachstelle irgendwann entdeckt wird - vielleicht in Form eines erfolgreichen Einbruchs in ein Unternehmen, das die von ihr erstellte Software nutzt.

Der wirkliche Schutz gegen die Verbreitung von Programmierfehlern besteht darin, dass Menschen und KI-Modelle zusammenarbeiten. Menschliche Entwickler sollten das Schreiben von KI-Code überwachen und als Kontrolle gegen unsichere Codierungspraktiken und anfälligen Code dienen. Dazu müssen die Entwickler jedoch gründlich in den bewährten Verfahren für die Erstellung von sicherem Code geschult werden, damit sie mögliche KI-Fehler erkennen und schnell korrigieren können.

Die Herausforderungen der KI-Code-Erstellung und -Beseitigung

Die plötzliche Explosion großer Sprachmodelle (LLMs) wie ChatGPT war eine Art zweischneidiges Schwert. Auf der einen Seite haben Unternehmen und alltägliche Nutzer enorme Produktivitätsgewinne durch den Einsatz von KI zur Erledigung zeitraubender, lästiger oder schwieriger Aufgaben erlebt. Auf der anderen Seite gibt es viele Beispiele dafür, was schief gehen kann, wenn man KI blindlings die Arbeit überlässt.

KI-Modelle haben eklatante Fehler gemacht, Voreingenommenheit gezeigt und regelrechte Halluzinationen erzeugt. In vielen Fällen lag die Ursache für das Problem in unzureichenden oder unverantwortlichen Trainingsdaten. Jedes KI-Modell ist nur so gut wie die Daten, mit denen es trainiert wurde. Deshalb ist es wichtig, dass die Trainingsdaten umfassend und sorgfältig geprüft sind. Aber auch dann werden Fehler gemacht.

Die Verwendung von KI für die Programmierung steht vor vielen der gleichen Hürden. Es hat sich gezeigt, dass von KI generierter Code eine Reihe von Schwachstellen enthält, z. B. Anfälligkeiten für Cross-Site-Scripting und Code-Injection sowie Angriffe, die speziell auf KI und maschinelles Lernen (ML) ausgerichtet sind, wie z. B. Prompt-Injection. KI-Modelle arbeiten auch als Blackbox, weil ihre Prozesse nicht transparent sind, so dass ein Sicherheits- oder Entwicklungsteam nicht sehen kann, wie eine KI zu ihren Schlussfolgerungen kommt. Infolgedessen kann das Modell die gleichen Fehler immer wiederholen. Die gleichen Unzulänglichkeiten, die sich auf das Schreiben von Code auswirken können, gelten auch für den Einsatz von KI zur Codebereinigung und zur Erfüllung von Compliance-Anforderungen. 

Das Potenzial für Fehler, die von KI-Modellen erzeugt oder wiederholt werden, ist so groß, dass LLMs jetzt eine eigene Liste der zehn größten Schwachstellen des Open Web Application Security Project (OWASP) haben.

Entwickler und KI können zusammenarbeiten, um sicheren Code zu erstellen

Bedenken hinsichtlich möglicher Fehler in KI-generiertem Code könnten einige Unternehmen, wenn auch nur kurz, davon abhalten, die Technologie weiter zu nutzen. Aber die potenziellen Vorteile sind zu groß, um sie zu ignorieren, vor allem, wenn die KI-Entwickler ihre Modelle weiter innovativ gestalten und verbessern. Es ist unwahrscheinlich, dass die Finanzdienstleistungsbranche den Geist wieder in die Flasche stecken wird. Banken und Finanzdienstleister sind bereits technologiegetrieben und in einem Bereich tätig, in dem sie immer auf der Suche nach einem Wettbewerbsvorteil sind. 

Der Schlüssel liegt darin, KI-Modelle so zu implementieren, dass das Risiko minimiert wird. Und das bedeutet, dass die Entwickler über ein Sicherheitsbewusstsein verfügen und gründlich in den Best Practices für die sichere Programmierung geschult sind, damit sie selbst sicheren Code schreiben und den von den KI-Modellen erzeugten Code genau überwachen können. Wenn KI-Engines und menschliche Entwickler in enger Partnerschaft zusammenarbeiten und die Entwickler das letzte Wort haben, können Unternehmen die Vorteile einer verbesserten Produktivität und Effizienz nutzen und gleichzeitig die Sicherheit verbessern, Risiken begrenzen und die Einhaltung von Vorschriften gewährleisten. 

Einen umfassenden Überblick darüber, wie sichere Kodierung den Erfolg, die Sicherheit und die Gewinne von Finanzdienstleistungsunternehmen gewährleisten kann, finden Sie in dem neu veröffentlichten Leitfaden Secure Code Warrior : Der ultimative Leitfaden für Sicherheitstrends im Finanzdienstleistungssektor.

Besuchen Sie die Secure Code Warrior Blog-Seiten, um mehr über Cybersicherheit und die zunehmend gefährliche Bedrohungslage zu erfahren und um zu lernen, wie Sie innovative Technologien und Schulungen einsetzen können, um Ihr Unternehmen und Ihre Kunden besser zu schützen.

Inhaltsverzeichnis

PDF herunterladen
Ressourcen anzeigen
Sind Sie an weiteren Informationen interessiert?

Secure Code Warrior macht sicheres Programmieren zu einer positiven und fesselnden Erfahrung für Entwickler, die ihre Fähigkeiten ausbauen. Wir leiten jeden Programmierer auf seinem bevorzugten Lernpfad an, damit sicherheitskompetente Entwickler zu den täglichen Superhelden unserer vernetzten Welt werden.

mehr erfahren

Secure Code Warrior ist für Unternehmen da, um den Code während des gesamten Softwareentwicklungszyklus zu schützen und eine Kultur zu schaffen, in der Cybersicherheit oberste Priorität hat. Unabhängig davon, ob Sie AppSec-Manager, Entwickler, CISO oder in einem anderen Bereich der Sicherheit tätig sind, können wir Ihnen dabei helfen, die Risiken zu reduzieren, die mit unsicherem Code verbunden sind.

Demo-Termin vereinbarenDownload
Freigabeziel:
LinkedIn-MarkenSozialx Logo
Ressourcen-Hub

Hilfreiche Ressourcen für den Einstieg

Weitere Beiträge
Ressourcen-Hub

Hilfreiche Ressourcen für den Einstieg

Weitere Beiträge