Um die Vorteile der KI-Innovation zu nutzen, muss man mit sicherem Code beginnen
Softwareentwickler haben gezeigt, dass sie bereit sind, generative künstliche Intelligenz (KI) zum Schreiben von Code zu nutzen, und sie haben im Allgemeinen einige positive Ergebnisse erzielt. Aber es gibt auch viele Anzeichen dafür, dass sie ein gefährliches Spiel spielen könnten.
Laut einer kürzlich von GitHub durchgeführten Umfrage nutzen mehr als 90 % der US-Entwickler KI-Codierungstools und geben als Vorteile schnellere Fertigstellungszeiten, eine schnellere Lösung von Problemen und ein kollaborativeres Umfeld an, was sie als wichtig erachten. Die Arbeit mit KI-Tools ermöglicht es Entwicklern, Routineaufgaben abzugeben, so dass sie sich kreativeren Aufgaben widmen können, die ihrem Unternehmen zugutekommen, und verringert nicht zuletzt die Gefahr eines Burnouts am Arbeitsplatz.
Studien haben jedoch auch gezeigt, dass KI-Tools dazu neigen, beim Schreiben von Code Fehler zu machen. Eine Umfrage von Snyk ergab, dass zwar 75,8 % der Befragten angaben, dass KI-Code sicherer ist als menschlicher Code, aber 56,4 % räumten ein, dass KI manchmal Probleme bei der Codierung verursacht. Alarmierenderweise gaben 80 % der Befragten an, dass sie die Sicherheitsrichtlinien für KI-Code während der Entwicklung umgehen.
Seit dem Debüt von OpenAIs ChatGPT im November 2022 hat sich der Einsatz generativer KI-Modelle im Code-Entwicklungsprozess von Finanzdienstleistern, wie auch in vielen anderen Bereichen, blitzschnell verbreitet. Das rasche Auftauchen anderer Modelle wie GitHub Copilot, OpenAI Codex und eine wachsende Liste weiterer Modelle deutet darauf hin, dass wir erst an der Oberfläche dessen gekratzt haben, was generative KI leisten kann und welche Auswirkungen sie haben kann. Damit dieser Einfluss jedoch positiv ist, müssen wir sicherstellen, dass der von ihr generierte Code sicher ist.
Programmierfehler können sich schnell verbreiten
Unabhängig davon, ob der Code von menschlichen Entwicklern oder von KI-Modellen erstellt wurde, wird er immer einige Fehler enthalten. Da KI dazu beiträgt, die Code-Entwicklung zu beschleunigen, um den ständig steigenden Anforderungen in hochgradig verteilten, cloudbasierten Computerumgebungen gerecht zu werden, könnte die Wahrscheinlichkeit steigen, dass sich fehlerhafter Code weit verbreitet, bevor er entdeckt wird.
KI-Modelle, die für das Schreiben von Code trainiert werden, nehmen Tausende von Codebeispielen auf, die verschiedene Aufgaben erfüllen, und können dann auf diese Beispiele zurückgreifen, um ihren eigenen Code zu erstellen. Wenn die Beispiele jedoch Fehler oder Schwachstellen enthalten - unabhängig davon, ob sie ursprünglich von einem Menschen oder einer anderen KI erstellt wurden - könnte das Modell diese Fehler auf eine neue Umgebung übertragen.
Da die Forschung gezeigt hat, dass KI-Modelle nicht in der Lage sind, Fehler in dem von ihnen verwendeten Code zuverlässig zu erkennen, gibt es kaum einen eingebauten Schutz gegen die Verbreitung von Fehlern und Schwachstellen. KI wird nicht nur Fehler bei der Programmierung machen, sondern auch ihre eigenen Fehler und die anderer Quellen wiederholen, bis die Schwachstelle irgendwann entdeckt wird - vielleicht in Form eines erfolgreichen Einbruchs in ein Unternehmen, das die von ihr erstellte Software nutzt.
Der wirkliche Schutz gegen die Verbreitung von Programmierfehlern besteht darin, dass Menschen und KI-Modelle zusammenarbeiten. Menschliche Entwickler sollten das Schreiben von KI-Code überwachen und als Kontrolle gegen unsichere Codierungspraktiken und anfälligen Code dienen. Dazu müssen die Entwickler jedoch gründlich in den bewährten Verfahren für die Erstellung von sicherem Code geschult werden, damit sie mögliche KI-Fehler erkennen und schnell korrigieren können.
Die Herausforderungen der KI-Code-Erstellung und -Beseitigung
Die plötzliche Explosion großer Sprachmodelle (LLMs) wie ChatGPT war eine Art zweischneidiges Schwert. Auf der einen Seite haben Unternehmen und alltägliche Nutzer enorme Produktivitätsgewinne durch den Einsatz von KI zur Erledigung zeitraubender, lästiger oder schwieriger Aufgaben erlebt. Auf der anderen Seite gibt es viele Beispiele dafür, was schief gehen kann, wenn man KI blindlings die Arbeit überlässt.
KI-Modelle haben eklatante Fehler gemacht, Voreingenommenheit gezeigt und regelrechte Halluzinationen erzeugt. In vielen Fällen lag die Ursache für das Problem in unzureichenden oder unverantwortlichen Trainingsdaten. Jedes KI-Modell ist nur so gut wie die Daten, mit denen es trainiert wurde. Deshalb ist es wichtig, dass die Trainingsdaten umfassend und sorgfältig geprüft sind. Aber auch dann werden Fehler gemacht.
Die Verwendung von KI für die Programmierung steht vor vielen der gleichen Hürden. Es hat sich gezeigt, dass von KI generierter Code eine Reihe von Schwachstellen enthält, z. B. Anfälligkeiten für Cross-Site-Scripting und Code-Injection sowie Angriffe, die speziell auf KI und maschinelles Lernen (ML) ausgerichtet sind, wie z. B. Prompt-Injection. KI-Modelle arbeiten auch als Blackbox, weil ihre Prozesse nicht transparent sind, so dass ein Sicherheits- oder Entwicklungsteam nicht sehen kann, wie eine KI zu ihren Schlussfolgerungen kommt. Infolgedessen kann das Modell die gleichen Fehler immer wiederholen. Die gleichen Unzulänglichkeiten, die sich auf das Schreiben von Code auswirken können, gelten auch für den Einsatz von KI zur Codebereinigung und zur Erfüllung von Compliance-Anforderungen.
Das Potenzial für Fehler, die von KI-Modellen erzeugt oder wiederholt werden, ist so groß, dass LLMs jetzt eine eigene Liste der zehn größten Schwachstellen des Open Web Application Security Project (OWASP) haben.
Entwickler und KI können zusammenarbeiten, um sicheren Code zu erstellen
Bedenken hinsichtlich möglicher Fehler in KI-generiertem Code könnten einige Unternehmen, wenn auch nur kurz, davon abhalten, die Technologie weiter zu nutzen. Aber die potenziellen Vorteile sind zu groß, um sie zu ignorieren, vor allem, wenn die KI-Entwickler ihre Modelle weiter innovativ gestalten und verbessern. Es ist unwahrscheinlich, dass die Finanzdienstleistungsbranche den Geist wieder in die Flasche stecken wird. Banken und Finanzdienstleister sind bereits technologiegetrieben und in einem Bereich tätig, in dem sie immer auf der Suche nach einem Wettbewerbsvorteil sind.
Der Schlüssel liegt darin, KI-Modelle so zu implementieren, dass das Risiko minimiert wird. Und das bedeutet, dass die Entwickler über ein Sicherheitsbewusstsein verfügen und gründlich in den Best Practices für die sichere Programmierung geschult sind, damit sie selbst sicheren Code schreiben und den von den KI-Modellen erzeugten Code genau überwachen können. Wenn KI-Engines und menschliche Entwickler in enger Partnerschaft zusammenarbeiten und die Entwickler das letzte Wort haben, können Unternehmen die Vorteile einer verbesserten Produktivität und Effizienz nutzen und gleichzeitig die Sicherheit verbessern, Risiken begrenzen und die Einhaltung von Vorschriften gewährleisten.
Einen umfassenden Überblick darüber, wie sichere Kodierung den Erfolg, die Sicherheit und die Gewinne von Finanzdienstleistungsunternehmen gewährleisten kann, finden Sie in dem neu veröffentlichten Leitfaden Secure Code Warrior : Der ultimative Leitfaden für Sicherheitstrends im Finanzdienstleistungssektor.
Besuchen Sie die Secure Code Warrior Blog-Seiten, um mehr über Cybersicherheit und die zunehmend gefährliche Bedrohungslage zu erfahren und um zu lernen, wie Sie innovative Technologien und Schulungen einsetzen können, um Ihr Unternehmen und Ihre Kunden besser zu schützen.
Generative KI bietet Finanzdienstleistern eine Menge Vorteile, aber auch eine Menge potenzieller Risiken. Die Schulung von Entwicklern in bewährten Sicherheitspraktiken und deren Kombination mit KI-Modellen kann dazu beitragen, von Anfang an sicheren Code zu erstellen.
Secure Code Warrior macht sicheres Programmieren zu einer positiven und fesselnden Erfahrung für Entwickler, die ihre Fähigkeiten ausbauen. Wir leiten jeden Programmierer auf seinem bevorzugten Lernpfad an, damit sicherheitskompetente Entwickler zu den täglichen Superhelden unserer vernetzten Welt werden.
Secure Code Warrior ist für Ihr Unternehmen da, um Sie dabei zu unterstützen, Ihren Code über den gesamten Lebenszyklus der Softwareentwicklung hinweg zu sichern und eine Kultur zu schaffen, in der Cybersicherheit an erster Stelle steht. Ganz gleich, ob Sie AppSec-Manager, Entwickler, CISO oder ein anderer Sicherheitsverantwortlicher sind, wir können Ihrem Unternehmen helfen, die mit unsicherem Code verbundenen Risiken zu reduzieren.
Demo buchen
Secure Code Warrior macht sicheres Programmieren zu einer positiven und fesselnden Erfahrung für Entwickler, die ihre Fähigkeiten ausbauen. Wir leiten jeden Programmierer auf seinem bevorzugten Lernpfad an, damit sicherheitskompetente Entwickler zu den täglichen Superhelden unserer vernetzten Welt werden.
Dieser Artikel wurde verfasst von Secure Code Warrior Das Team von Branchenexperten hat es sich zur Aufgabe gemacht, Entwicklern das Wissen und die Fähigkeiten zu vermitteln, die sie brauchen, um von Anfang an sichere Software zu entwickeln. Dabei stützen wir uns auf umfassendes Fachwissen zu sicheren Codierungspraktiken, Branchentrends und Erkenntnissen aus der Praxis.
Softwareentwickler haben gezeigt, dass sie bereit sind, generative künstliche Intelligenz (KI) zum Schreiben von Code zu nutzen, und sie haben im Allgemeinen einige positive Ergebnisse erzielt. Aber es gibt auch viele Anzeichen dafür, dass sie ein gefährliches Spiel spielen könnten.
Laut einer kürzlich von GitHub durchgeführten Umfrage nutzen mehr als 90 % der US-Entwickler KI-Codierungstools und geben als Vorteile schnellere Fertigstellungszeiten, eine schnellere Lösung von Problemen und ein kollaborativeres Umfeld an, was sie als wichtig erachten. Die Arbeit mit KI-Tools ermöglicht es Entwicklern, Routineaufgaben abzugeben, so dass sie sich kreativeren Aufgaben widmen können, die ihrem Unternehmen zugutekommen, und verringert nicht zuletzt die Gefahr eines Burnouts am Arbeitsplatz.
Studien haben jedoch auch gezeigt, dass KI-Tools dazu neigen, beim Schreiben von Code Fehler zu machen. Eine Umfrage von Snyk ergab, dass zwar 75,8 % der Befragten angaben, dass KI-Code sicherer ist als menschlicher Code, aber 56,4 % räumten ein, dass KI manchmal Probleme bei der Codierung verursacht. Alarmierenderweise gaben 80 % der Befragten an, dass sie die Sicherheitsrichtlinien für KI-Code während der Entwicklung umgehen.
Seit dem Debüt von OpenAIs ChatGPT im November 2022 hat sich der Einsatz generativer KI-Modelle im Code-Entwicklungsprozess von Finanzdienstleistern, wie auch in vielen anderen Bereichen, blitzschnell verbreitet. Das rasche Auftauchen anderer Modelle wie GitHub Copilot, OpenAI Codex und eine wachsende Liste weiterer Modelle deutet darauf hin, dass wir erst an der Oberfläche dessen gekratzt haben, was generative KI leisten kann und welche Auswirkungen sie haben kann. Damit dieser Einfluss jedoch positiv ist, müssen wir sicherstellen, dass der von ihr generierte Code sicher ist.
Programmierfehler können sich schnell verbreiten
Unabhängig davon, ob der Code von menschlichen Entwicklern oder von KI-Modellen erstellt wurde, wird er immer einige Fehler enthalten. Da KI dazu beiträgt, die Code-Entwicklung zu beschleunigen, um den ständig steigenden Anforderungen in hochgradig verteilten, cloudbasierten Computerumgebungen gerecht zu werden, könnte die Wahrscheinlichkeit steigen, dass sich fehlerhafter Code weit verbreitet, bevor er entdeckt wird.
KI-Modelle, die für das Schreiben von Code trainiert werden, nehmen Tausende von Codebeispielen auf, die verschiedene Aufgaben erfüllen, und können dann auf diese Beispiele zurückgreifen, um ihren eigenen Code zu erstellen. Wenn die Beispiele jedoch Fehler oder Schwachstellen enthalten - unabhängig davon, ob sie ursprünglich von einem Menschen oder einer anderen KI erstellt wurden - könnte das Modell diese Fehler auf eine neue Umgebung übertragen.
Da die Forschung gezeigt hat, dass KI-Modelle nicht in der Lage sind, Fehler in dem von ihnen verwendeten Code zuverlässig zu erkennen, gibt es kaum einen eingebauten Schutz gegen die Verbreitung von Fehlern und Schwachstellen. KI wird nicht nur Fehler bei der Programmierung machen, sondern auch ihre eigenen Fehler und die anderer Quellen wiederholen, bis die Schwachstelle irgendwann entdeckt wird - vielleicht in Form eines erfolgreichen Einbruchs in ein Unternehmen, das die von ihr erstellte Software nutzt.
Der wirkliche Schutz gegen die Verbreitung von Programmierfehlern besteht darin, dass Menschen und KI-Modelle zusammenarbeiten. Menschliche Entwickler sollten das Schreiben von KI-Code überwachen und als Kontrolle gegen unsichere Codierungspraktiken und anfälligen Code dienen. Dazu müssen die Entwickler jedoch gründlich in den bewährten Verfahren für die Erstellung von sicherem Code geschult werden, damit sie mögliche KI-Fehler erkennen und schnell korrigieren können.
Die Herausforderungen der KI-Code-Erstellung und -Beseitigung
Die plötzliche Explosion großer Sprachmodelle (LLMs) wie ChatGPT war eine Art zweischneidiges Schwert. Auf der einen Seite haben Unternehmen und alltägliche Nutzer enorme Produktivitätsgewinne durch den Einsatz von KI zur Erledigung zeitraubender, lästiger oder schwieriger Aufgaben erlebt. Auf der anderen Seite gibt es viele Beispiele dafür, was schief gehen kann, wenn man KI blindlings die Arbeit überlässt.
KI-Modelle haben eklatante Fehler gemacht, Voreingenommenheit gezeigt und regelrechte Halluzinationen erzeugt. In vielen Fällen lag die Ursache für das Problem in unzureichenden oder unverantwortlichen Trainingsdaten. Jedes KI-Modell ist nur so gut wie die Daten, mit denen es trainiert wurde. Deshalb ist es wichtig, dass die Trainingsdaten umfassend und sorgfältig geprüft sind. Aber auch dann werden Fehler gemacht.
Die Verwendung von KI für die Programmierung steht vor vielen der gleichen Hürden. Es hat sich gezeigt, dass von KI generierter Code eine Reihe von Schwachstellen enthält, z. B. Anfälligkeiten für Cross-Site-Scripting und Code-Injection sowie Angriffe, die speziell auf KI und maschinelles Lernen (ML) ausgerichtet sind, wie z. B. Prompt-Injection. KI-Modelle arbeiten auch als Blackbox, weil ihre Prozesse nicht transparent sind, so dass ein Sicherheits- oder Entwicklungsteam nicht sehen kann, wie eine KI zu ihren Schlussfolgerungen kommt. Infolgedessen kann das Modell die gleichen Fehler immer wiederholen. Die gleichen Unzulänglichkeiten, die sich auf das Schreiben von Code auswirken können, gelten auch für den Einsatz von KI zur Codebereinigung und zur Erfüllung von Compliance-Anforderungen.
Das Potenzial für Fehler, die von KI-Modellen erzeugt oder wiederholt werden, ist so groß, dass LLMs jetzt eine eigene Liste der zehn größten Schwachstellen des Open Web Application Security Project (OWASP) haben.
Entwickler und KI können zusammenarbeiten, um sicheren Code zu erstellen
Bedenken hinsichtlich möglicher Fehler in KI-generiertem Code könnten einige Unternehmen, wenn auch nur kurz, davon abhalten, die Technologie weiter zu nutzen. Aber die potenziellen Vorteile sind zu groß, um sie zu ignorieren, vor allem, wenn die KI-Entwickler ihre Modelle weiter innovativ gestalten und verbessern. Es ist unwahrscheinlich, dass die Finanzdienstleistungsbranche den Geist wieder in die Flasche stecken wird. Banken und Finanzdienstleister sind bereits technologiegetrieben und in einem Bereich tätig, in dem sie immer auf der Suche nach einem Wettbewerbsvorteil sind.
Der Schlüssel liegt darin, KI-Modelle so zu implementieren, dass das Risiko minimiert wird. Und das bedeutet, dass die Entwickler über ein Sicherheitsbewusstsein verfügen und gründlich in den Best Practices für die sichere Programmierung geschult sind, damit sie selbst sicheren Code schreiben und den von den KI-Modellen erzeugten Code genau überwachen können. Wenn KI-Engines und menschliche Entwickler in enger Partnerschaft zusammenarbeiten und die Entwickler das letzte Wort haben, können Unternehmen die Vorteile einer verbesserten Produktivität und Effizienz nutzen und gleichzeitig die Sicherheit verbessern, Risiken begrenzen und die Einhaltung von Vorschriften gewährleisten.
Einen umfassenden Überblick darüber, wie sichere Kodierung den Erfolg, die Sicherheit und die Gewinne von Finanzdienstleistungsunternehmen gewährleisten kann, finden Sie in dem neu veröffentlichten Leitfaden Secure Code Warrior : Der ultimative Leitfaden für Sicherheitstrends im Finanzdienstleistungssektor.
Besuchen Sie die Secure Code Warrior Blog-Seiten, um mehr über Cybersicherheit und die zunehmend gefährliche Bedrohungslage zu erfahren und um zu lernen, wie Sie innovative Technologien und Schulungen einsetzen können, um Ihr Unternehmen und Ihre Kunden besser zu schützen.
Softwareentwickler haben gezeigt, dass sie bereit sind, generative künstliche Intelligenz (KI) zum Schreiben von Code zu nutzen, und sie haben im Allgemeinen einige positive Ergebnisse erzielt. Aber es gibt auch viele Anzeichen dafür, dass sie ein gefährliches Spiel spielen könnten.
Laut einer kürzlich von GitHub durchgeführten Umfrage nutzen mehr als 90 % der US-Entwickler KI-Codierungstools und geben als Vorteile schnellere Fertigstellungszeiten, eine schnellere Lösung von Problemen und ein kollaborativeres Umfeld an, was sie als wichtig erachten. Die Arbeit mit KI-Tools ermöglicht es Entwicklern, Routineaufgaben abzugeben, so dass sie sich kreativeren Aufgaben widmen können, die ihrem Unternehmen zugutekommen, und verringert nicht zuletzt die Gefahr eines Burnouts am Arbeitsplatz.
Studien haben jedoch auch gezeigt, dass KI-Tools dazu neigen, beim Schreiben von Code Fehler zu machen. Eine Umfrage von Snyk ergab, dass zwar 75,8 % der Befragten angaben, dass KI-Code sicherer ist als menschlicher Code, aber 56,4 % räumten ein, dass KI manchmal Probleme bei der Codierung verursacht. Alarmierenderweise gaben 80 % der Befragten an, dass sie die Sicherheitsrichtlinien für KI-Code während der Entwicklung umgehen.
Seit dem Debüt von OpenAIs ChatGPT im November 2022 hat sich der Einsatz generativer KI-Modelle im Code-Entwicklungsprozess von Finanzdienstleistern, wie auch in vielen anderen Bereichen, blitzschnell verbreitet. Das rasche Auftauchen anderer Modelle wie GitHub Copilot, OpenAI Codex und eine wachsende Liste weiterer Modelle deutet darauf hin, dass wir erst an der Oberfläche dessen gekratzt haben, was generative KI leisten kann und welche Auswirkungen sie haben kann. Damit dieser Einfluss jedoch positiv ist, müssen wir sicherstellen, dass der von ihr generierte Code sicher ist.
Programmierfehler können sich schnell verbreiten
Unabhängig davon, ob der Code von menschlichen Entwicklern oder von KI-Modellen erstellt wurde, wird er immer einige Fehler enthalten. Da KI dazu beiträgt, die Code-Entwicklung zu beschleunigen, um den ständig steigenden Anforderungen in hochgradig verteilten, cloudbasierten Computerumgebungen gerecht zu werden, könnte die Wahrscheinlichkeit steigen, dass sich fehlerhafter Code weit verbreitet, bevor er entdeckt wird.
KI-Modelle, die für das Schreiben von Code trainiert werden, nehmen Tausende von Codebeispielen auf, die verschiedene Aufgaben erfüllen, und können dann auf diese Beispiele zurückgreifen, um ihren eigenen Code zu erstellen. Wenn die Beispiele jedoch Fehler oder Schwachstellen enthalten - unabhängig davon, ob sie ursprünglich von einem Menschen oder einer anderen KI erstellt wurden - könnte das Modell diese Fehler auf eine neue Umgebung übertragen.
Da die Forschung gezeigt hat, dass KI-Modelle nicht in der Lage sind, Fehler in dem von ihnen verwendeten Code zuverlässig zu erkennen, gibt es kaum einen eingebauten Schutz gegen die Verbreitung von Fehlern und Schwachstellen. KI wird nicht nur Fehler bei der Programmierung machen, sondern auch ihre eigenen Fehler und die anderer Quellen wiederholen, bis die Schwachstelle irgendwann entdeckt wird - vielleicht in Form eines erfolgreichen Einbruchs in ein Unternehmen, das die von ihr erstellte Software nutzt.
Der wirkliche Schutz gegen die Verbreitung von Programmierfehlern besteht darin, dass Menschen und KI-Modelle zusammenarbeiten. Menschliche Entwickler sollten das Schreiben von KI-Code überwachen und als Kontrolle gegen unsichere Codierungspraktiken und anfälligen Code dienen. Dazu müssen die Entwickler jedoch gründlich in den bewährten Verfahren für die Erstellung von sicherem Code geschult werden, damit sie mögliche KI-Fehler erkennen und schnell korrigieren können.
Die Herausforderungen der KI-Code-Erstellung und -Beseitigung
Die plötzliche Explosion großer Sprachmodelle (LLMs) wie ChatGPT war eine Art zweischneidiges Schwert. Auf der einen Seite haben Unternehmen und alltägliche Nutzer enorme Produktivitätsgewinne durch den Einsatz von KI zur Erledigung zeitraubender, lästiger oder schwieriger Aufgaben erlebt. Auf der anderen Seite gibt es viele Beispiele dafür, was schief gehen kann, wenn man KI blindlings die Arbeit überlässt.
KI-Modelle haben eklatante Fehler gemacht, Voreingenommenheit gezeigt und regelrechte Halluzinationen erzeugt. In vielen Fällen lag die Ursache für das Problem in unzureichenden oder unverantwortlichen Trainingsdaten. Jedes KI-Modell ist nur so gut wie die Daten, mit denen es trainiert wurde. Deshalb ist es wichtig, dass die Trainingsdaten umfassend und sorgfältig geprüft sind. Aber auch dann werden Fehler gemacht.
Die Verwendung von KI für die Programmierung steht vor vielen der gleichen Hürden. Es hat sich gezeigt, dass von KI generierter Code eine Reihe von Schwachstellen enthält, z. B. Anfälligkeiten für Cross-Site-Scripting und Code-Injection sowie Angriffe, die speziell auf KI und maschinelles Lernen (ML) ausgerichtet sind, wie z. B. Prompt-Injection. KI-Modelle arbeiten auch als Blackbox, weil ihre Prozesse nicht transparent sind, so dass ein Sicherheits- oder Entwicklungsteam nicht sehen kann, wie eine KI zu ihren Schlussfolgerungen kommt. Infolgedessen kann das Modell die gleichen Fehler immer wiederholen. Die gleichen Unzulänglichkeiten, die sich auf das Schreiben von Code auswirken können, gelten auch für den Einsatz von KI zur Codebereinigung und zur Erfüllung von Compliance-Anforderungen.
Das Potenzial für Fehler, die von KI-Modellen erzeugt oder wiederholt werden, ist so groß, dass LLMs jetzt eine eigene Liste der zehn größten Schwachstellen des Open Web Application Security Project (OWASP) haben.
Entwickler und KI können zusammenarbeiten, um sicheren Code zu erstellen
Bedenken hinsichtlich möglicher Fehler in KI-generiertem Code könnten einige Unternehmen, wenn auch nur kurz, davon abhalten, die Technologie weiter zu nutzen. Aber die potenziellen Vorteile sind zu groß, um sie zu ignorieren, vor allem, wenn die KI-Entwickler ihre Modelle weiter innovativ gestalten und verbessern. Es ist unwahrscheinlich, dass die Finanzdienstleistungsbranche den Geist wieder in die Flasche stecken wird. Banken und Finanzdienstleister sind bereits technologiegetrieben und in einem Bereich tätig, in dem sie immer auf der Suche nach einem Wettbewerbsvorteil sind.
Der Schlüssel liegt darin, KI-Modelle so zu implementieren, dass das Risiko minimiert wird. Und das bedeutet, dass die Entwickler über ein Sicherheitsbewusstsein verfügen und gründlich in den Best Practices für die sichere Programmierung geschult sind, damit sie selbst sicheren Code schreiben und den von den KI-Modellen erzeugten Code genau überwachen können. Wenn KI-Engines und menschliche Entwickler in enger Partnerschaft zusammenarbeiten und die Entwickler das letzte Wort haben, können Unternehmen die Vorteile einer verbesserten Produktivität und Effizienz nutzen und gleichzeitig die Sicherheit verbessern, Risiken begrenzen und die Einhaltung von Vorschriften gewährleisten.
Einen umfassenden Überblick darüber, wie sichere Kodierung den Erfolg, die Sicherheit und die Gewinne von Finanzdienstleistungsunternehmen gewährleisten kann, finden Sie in dem neu veröffentlichten Leitfaden Secure Code Warrior : Der ultimative Leitfaden für Sicherheitstrends im Finanzdienstleistungssektor.
Besuchen Sie die Secure Code Warrior Blog-Seiten, um mehr über Cybersicherheit und die zunehmend gefährliche Bedrohungslage zu erfahren und um zu lernen, wie Sie innovative Technologien und Schulungen einsetzen können, um Ihr Unternehmen und Ihre Kunden besser zu schützen.
Klicken Sie auf den unten stehenden Link und laden Sie die PDF-Datei dieser Ressource herunter.
Secure Code Warrior ist für Ihr Unternehmen da, um Sie dabei zu unterstützen, Ihren Code über den gesamten Lebenszyklus der Softwareentwicklung hinweg zu sichern und eine Kultur zu schaffen, in der Cybersicherheit an erster Stelle steht. Ganz gleich, ob Sie AppSec-Manager, Entwickler, CISO oder ein anderer Sicherheitsverantwortlicher sind, wir können Ihrem Unternehmen helfen, die mit unsicherem Code verbundenen Risiken zu reduzieren.
Bericht ansehenDemo buchen
Secure Code Warrior macht sicheres Programmieren zu einer positiven und fesselnden Erfahrung für Entwickler, die ihre Fähigkeiten ausbauen. Wir leiten jeden Programmierer auf seinem bevorzugten Lernpfad an, damit sicherheitskompetente Entwickler zu den täglichen Superhelden unserer vernetzten Welt werden.
Dieser Artikel wurde verfasst von Secure Code Warrior Das Team von Branchenexperten hat es sich zur Aufgabe gemacht, Entwicklern das Wissen und die Fähigkeiten zu vermitteln, die sie brauchen, um von Anfang an sichere Software zu entwickeln. Dabei stützen wir uns auf umfassendes Fachwissen zu sicheren Codierungspraktiken, Branchentrends und Erkenntnissen aus der Praxis.
Softwareentwickler haben gezeigt, dass sie bereit sind, generative künstliche Intelligenz (KI) zum Schreiben von Code zu nutzen, und sie haben im Allgemeinen einige positive Ergebnisse erzielt. Aber es gibt auch viele Anzeichen dafür, dass sie ein gefährliches Spiel spielen könnten.
Laut einer kürzlich von GitHub durchgeführten Umfrage nutzen mehr als 90 % der US-Entwickler KI-Codierungstools und geben als Vorteile schnellere Fertigstellungszeiten, eine schnellere Lösung von Problemen und ein kollaborativeres Umfeld an, was sie als wichtig erachten. Die Arbeit mit KI-Tools ermöglicht es Entwicklern, Routineaufgaben abzugeben, so dass sie sich kreativeren Aufgaben widmen können, die ihrem Unternehmen zugutekommen, und verringert nicht zuletzt die Gefahr eines Burnouts am Arbeitsplatz.
Studien haben jedoch auch gezeigt, dass KI-Tools dazu neigen, beim Schreiben von Code Fehler zu machen. Eine Umfrage von Snyk ergab, dass zwar 75,8 % der Befragten angaben, dass KI-Code sicherer ist als menschlicher Code, aber 56,4 % räumten ein, dass KI manchmal Probleme bei der Codierung verursacht. Alarmierenderweise gaben 80 % der Befragten an, dass sie die Sicherheitsrichtlinien für KI-Code während der Entwicklung umgehen.
Seit dem Debüt von OpenAIs ChatGPT im November 2022 hat sich der Einsatz generativer KI-Modelle im Code-Entwicklungsprozess von Finanzdienstleistern, wie auch in vielen anderen Bereichen, blitzschnell verbreitet. Das rasche Auftauchen anderer Modelle wie GitHub Copilot, OpenAI Codex und eine wachsende Liste weiterer Modelle deutet darauf hin, dass wir erst an der Oberfläche dessen gekratzt haben, was generative KI leisten kann und welche Auswirkungen sie haben kann. Damit dieser Einfluss jedoch positiv ist, müssen wir sicherstellen, dass der von ihr generierte Code sicher ist.
Programmierfehler können sich schnell verbreiten
Unabhängig davon, ob der Code von menschlichen Entwicklern oder von KI-Modellen erstellt wurde, wird er immer einige Fehler enthalten. Da KI dazu beiträgt, die Code-Entwicklung zu beschleunigen, um den ständig steigenden Anforderungen in hochgradig verteilten, cloudbasierten Computerumgebungen gerecht zu werden, könnte die Wahrscheinlichkeit steigen, dass sich fehlerhafter Code weit verbreitet, bevor er entdeckt wird.
KI-Modelle, die für das Schreiben von Code trainiert werden, nehmen Tausende von Codebeispielen auf, die verschiedene Aufgaben erfüllen, und können dann auf diese Beispiele zurückgreifen, um ihren eigenen Code zu erstellen. Wenn die Beispiele jedoch Fehler oder Schwachstellen enthalten - unabhängig davon, ob sie ursprünglich von einem Menschen oder einer anderen KI erstellt wurden - könnte das Modell diese Fehler auf eine neue Umgebung übertragen.
Da die Forschung gezeigt hat, dass KI-Modelle nicht in der Lage sind, Fehler in dem von ihnen verwendeten Code zuverlässig zu erkennen, gibt es kaum einen eingebauten Schutz gegen die Verbreitung von Fehlern und Schwachstellen. KI wird nicht nur Fehler bei der Programmierung machen, sondern auch ihre eigenen Fehler und die anderer Quellen wiederholen, bis die Schwachstelle irgendwann entdeckt wird - vielleicht in Form eines erfolgreichen Einbruchs in ein Unternehmen, das die von ihr erstellte Software nutzt.
Der wirkliche Schutz gegen die Verbreitung von Programmierfehlern besteht darin, dass Menschen und KI-Modelle zusammenarbeiten. Menschliche Entwickler sollten das Schreiben von KI-Code überwachen und als Kontrolle gegen unsichere Codierungspraktiken und anfälligen Code dienen. Dazu müssen die Entwickler jedoch gründlich in den bewährten Verfahren für die Erstellung von sicherem Code geschult werden, damit sie mögliche KI-Fehler erkennen und schnell korrigieren können.
Die Herausforderungen der KI-Code-Erstellung und -Beseitigung
Die plötzliche Explosion großer Sprachmodelle (LLMs) wie ChatGPT war eine Art zweischneidiges Schwert. Auf der einen Seite haben Unternehmen und alltägliche Nutzer enorme Produktivitätsgewinne durch den Einsatz von KI zur Erledigung zeitraubender, lästiger oder schwieriger Aufgaben erlebt. Auf der anderen Seite gibt es viele Beispiele dafür, was schief gehen kann, wenn man KI blindlings die Arbeit überlässt.
KI-Modelle haben eklatante Fehler gemacht, Voreingenommenheit gezeigt und regelrechte Halluzinationen erzeugt. In vielen Fällen lag die Ursache für das Problem in unzureichenden oder unverantwortlichen Trainingsdaten. Jedes KI-Modell ist nur so gut wie die Daten, mit denen es trainiert wurde. Deshalb ist es wichtig, dass die Trainingsdaten umfassend und sorgfältig geprüft sind. Aber auch dann werden Fehler gemacht.
Die Verwendung von KI für die Programmierung steht vor vielen der gleichen Hürden. Es hat sich gezeigt, dass von KI generierter Code eine Reihe von Schwachstellen enthält, z. B. Anfälligkeiten für Cross-Site-Scripting und Code-Injection sowie Angriffe, die speziell auf KI und maschinelles Lernen (ML) ausgerichtet sind, wie z. B. Prompt-Injection. KI-Modelle arbeiten auch als Blackbox, weil ihre Prozesse nicht transparent sind, so dass ein Sicherheits- oder Entwicklungsteam nicht sehen kann, wie eine KI zu ihren Schlussfolgerungen kommt. Infolgedessen kann das Modell die gleichen Fehler immer wiederholen. Die gleichen Unzulänglichkeiten, die sich auf das Schreiben von Code auswirken können, gelten auch für den Einsatz von KI zur Codebereinigung und zur Erfüllung von Compliance-Anforderungen.
Das Potenzial für Fehler, die von KI-Modellen erzeugt oder wiederholt werden, ist so groß, dass LLMs jetzt eine eigene Liste der zehn größten Schwachstellen des Open Web Application Security Project (OWASP) haben.
Entwickler und KI können zusammenarbeiten, um sicheren Code zu erstellen
Bedenken hinsichtlich möglicher Fehler in KI-generiertem Code könnten einige Unternehmen, wenn auch nur kurz, davon abhalten, die Technologie weiter zu nutzen. Aber die potenziellen Vorteile sind zu groß, um sie zu ignorieren, vor allem, wenn die KI-Entwickler ihre Modelle weiter innovativ gestalten und verbessern. Es ist unwahrscheinlich, dass die Finanzdienstleistungsbranche den Geist wieder in die Flasche stecken wird. Banken und Finanzdienstleister sind bereits technologiegetrieben und in einem Bereich tätig, in dem sie immer auf der Suche nach einem Wettbewerbsvorteil sind.
Der Schlüssel liegt darin, KI-Modelle so zu implementieren, dass das Risiko minimiert wird. Und das bedeutet, dass die Entwickler über ein Sicherheitsbewusstsein verfügen und gründlich in den Best Practices für die sichere Programmierung geschult sind, damit sie selbst sicheren Code schreiben und den von den KI-Modellen erzeugten Code genau überwachen können. Wenn KI-Engines und menschliche Entwickler in enger Partnerschaft zusammenarbeiten und die Entwickler das letzte Wort haben, können Unternehmen die Vorteile einer verbesserten Produktivität und Effizienz nutzen und gleichzeitig die Sicherheit verbessern, Risiken begrenzen und die Einhaltung von Vorschriften gewährleisten.
Einen umfassenden Überblick darüber, wie sichere Kodierung den Erfolg, die Sicherheit und die Gewinne von Finanzdienstleistungsunternehmen gewährleisten kann, finden Sie in dem neu veröffentlichten Leitfaden Secure Code Warrior : Der ultimative Leitfaden für Sicherheitstrends im Finanzdienstleistungssektor.
Besuchen Sie die Secure Code Warrior Blog-Seiten, um mehr über Cybersicherheit und die zunehmend gefährliche Bedrohungslage zu erfahren und um zu lernen, wie Sie innovative Technologien und Schulungen einsetzen können, um Ihr Unternehmen und Ihre Kunden besser zu schützen.
Inhaltsübersicht
Secure Code Warrior macht sicheres Programmieren zu einer positiven und fesselnden Erfahrung für Entwickler, die ihre Fähigkeiten ausbauen. Wir leiten jeden Programmierer auf seinem bevorzugten Lernpfad an, damit sicherheitskompetente Entwickler zu den täglichen Superhelden unserer vernetzten Welt werden.
Secure Code Warrior ist für Ihr Unternehmen da, um Sie dabei zu unterstützen, Ihren Code über den gesamten Lebenszyklus der Softwareentwicklung hinweg zu sichern und eine Kultur zu schaffen, in der Cybersicherheit an erster Stelle steht. Ganz gleich, ob Sie AppSec-Manager, Entwickler, CISO oder ein anderer Sicherheitsverantwortlicher sind, wir können Ihrem Unternehmen helfen, die mit unsicherem Code verbundenen Risiken zu reduzieren.
Demo buchenHerunterladenRessourcen für den Einstieg
Die Leistungsfähigkeit von OpenText Fortify + Secure Code Warrior
OpenText Fortify und Secure Code Warrior bündeln ihre Kräfte, um Unternehmen dabei zu helfen, Risiken zu reduzieren, Entwickler zu Sicherheits-Champions zu machen und Kundenvertrauen aufzubauen. Lesen Sie hier mehr darüber.
Benchmarking von Sicherheitskompetenzen: Optimierung von Secure-by-Design im Unternehmen
Die Secure-by-Design-Bewegung ist die Zukunft der sicheren Softwareentwicklung. Erfahren Sie mehr über die wichtigsten Elemente, die Unternehmen berücksichtigen müssen, wenn sie über eine Secure-by-Design-Initiative nachdenken.
Ressourcen für den Einstieg
Das Jahrzehnt der Defenders: Secure Code Warrior Zehnte Runde
Secure Code WarriorDas Gründungsteam von SCW ist zusammengeblieben und hat das Schiff ein ganzes Jahrzehnt lang durch alle Lektionen, Triumphe und Rückschläge gesteuert. Wir vergrößern uns und sind bereit für unser nächstes Kapitel, SCW 2.0, als führendes Unternehmen im Risikomanagement für Entwickler.
10 wichtige Vorhersagen: Secure Code Warrior über den Einfluss von KI und Secure-by-Design im Jahr 2025
Unternehmen stehen vor schwierigen Entscheidungen über den Einsatz von KI, um die langfristige Produktivität, Nachhaltigkeit und den Sicherheits-ROI zu unterstützen. In den letzten Jahren ist uns klar geworden, dass KI die Rolle des Entwicklers niemals vollständig ersetzen wird. Von KI + Entwicklerpartnerschaften bis hin zum zunehmenden Druck (und der Verwirrung) rund um die Secure-by-Design-Erwartungen - lassen Sie uns einen genaueren Blick darauf werfen, was wir im nächsten Jahr erwarten können.
OWASP Top 10 für LLM-Bewerbungen: Was ist neu, was hat sich geändert, und wie bleibt man sicher?
Bleiben Sie bei der Absicherung von LLM-Anwendungen mit den neuesten OWASP Top 10 Updates immer einen Schritt voraus. Entdecken Sie, was neu ist, was sich geändert hat und wie Secure Code Warrior Sie mit aktuellen Lernressourcen ausstattet, um Risiken in der generativen KI zu minimieren.
Entwicklergesteuerte Kodierung.
Sicher ist sicher.
Setzen Sie sich noch heute mit uns in Verbindung und machen Sie Softwaresicherheit zu einem festen Bestandteil Ihres Entwicklungsprozesses.
