AI-Security kommt: Wie können Gen-AI Apps vor Cyberkriminalität geschützt werden?

Der Begriff „Künstliche Intelligenz“ ist gar nicht so neu wie wir manchmal glauben. Der Begriff von „Artificial Intelligence“ wurde bereits 1956 von John McCarthy geprägt und dokumentiert. Die Anwendungsmöglichkeiten der frühen Systeme waren stark begrenzt. Errungenschaften wie der Schachcomputer „Deep Thought“ aus den 80ern werden ihren Platz in den Geschichtsbüchern behalten.  

Die 2000er ebneten durch die Verfügbarkeit von großen Datenmengen den Weg zu maschinellem Lernen. Wir erinnern uns: Floppy Disks konnten maximal 1200 Kilobyte speichern. Mit DVD, Festplattentechnologien und letztlich der Cloudisierung gab es irgendwann keine Grenzen mehr für Datenmengen. „Deep Learning“ war der nächste entscheidende Schritt. ChatGPT war dann der nächste Meilenstein und machte die Anwendung von KI der breiten Masse verfügbar. GPT steht dabei für Generative Pre-trained Transformers. Dieses Modell verstand plötzlich unsere Sprache, konnte Code schreiben, hatte ein tiefes Verständnis für Kontext und Themen. Gen-AI war damit auf dem Vormarsch.  

Marktentwicklung:  

Der Markt in Deutschland für künstliche Intelligenz steckt noch immer in den Kinderschuhen. Dennoch gibt es in den Bereichen schon ein Marktvolumen i. H. v. 5 Mrd. €. In den nächsten 5 Jahren soll sich dieser Wert versechsfacht haben. Das Wachstum im Bereich der Generative AI ist gerade in Unternehmen sehr stark. Der Fokus liegt auf Prozessoptimierung intern sowie extern. 

Laut einer McKinsey-Studie hat sich der Anteil an Unternehmen, die Generative AI einsetzen, innerhalb der letzten drei Jahre bereits verdoppelt. Mittlerweile haben Unternehmen Gen-AI als festen Baustein in den Budgets verankert und investieren im Schnitt mehr als 5 % ihrer IT-Budgets in die Entwicklung. Das Wertpotenzial ist hoch, da die Technologie unter anderem Effizienzsteigerungen und Kostensenkungen ermöglicht.

Wo Gen-AI Applikationen produktiv genutzt werden, vergrößere ich meine Angriffsfläche. Sind die Folgen bekannt?  

Für Unternehmen sind skalierbare Optimierungen so spannend, weil sie direkten Einfluss auf die Profitabilität haben. Automatisierung von Beratungsgesprächen z. B. sparen Personalkosten, garantieren eine gleichbleibende Qualität und sorgen rund um die Uhr für Abschlüsse. Doch überall, wo Gen-AI Applikationen im Einsatz sind, vergrößern Unternehmen ihre digitale Angriffsfläche. Diese Applikationen können z. B. direkt mit dem Kunden interagieren und die Eingaben dieser können schwer vorhergesehen werden.  

Beispiel Chevrolet:

Ein Chevrolet-Händler in den USA hatte einen Chatbot eingeführt, um bei verschiedenen Fragen zu unterstützen. Ein Softwareentwickler nutzte seine Kenntnisse, um den Chatbot auszutricksen. Er erkannte, dass der Bot auf ChatGPT basierte und nutzte verschiedene Fragetechniken und brachte den ChatBot dazu mathematische Gleichungen zu lösen. Dies teilte er in Netzwerken, was Nachahmer auf die Plattform brachte. Einem Nutzer ist es dann gelungen, dass der ChatBot ihm einen Chevrolet Tahoe im Wert von rund 60.000 $ für 1 $ anbot. Der ChatBot wurde daraufhin offline gestellt.  

Aber nicht nur Schriftverkehr ist angreifbar. Immer häufiger sprechen wir mit Systemen oder lassen uns bei Systemen über unsere Stimme authentifizieren. Diese Stimme zu manipulieren ist in der heutigen Zeit keine große Hürde mehr.  

Deutschland kein Vorreiter bei Gen-AI, aber mit großem Potenzial

In Deutschland ist insbesondere der Mittelstand noch recht verhalten bei der Entwicklung, da Themen wie Compliance und Regulierung noch nicht klar sind. Derzeit gibt es Regelwerke pro Land, aber in Zukunft soll es EU-weite Beschlüsse geben, an die die Mitgliedsstaaten sich halten sollen. Diese Prozesse hemmen die Entwicklung. Grundsätzlich ist Deutschland aber keineswegs ein Land, das sich den Entwicklungen verschließt. 

Wie kann ich Risiken mitigieren?  

Mit AI-Security. Bei der Entwicklung von Gen-AI Applikationen sollte der Security-Aspekt bereits berücksichtigt und durchdacht werden. Hier gibts ein paar sehr beliebte Buzz-Words:  

• Security by design: Wünschen wir uns schon lange auch für Applikationen jenseits von Gen-AI. Es wird aber nach wie vor nicht konsequent in der Entwicklung von Software o. Ä. berücksichtigt.
• Am besten, testen: Regelmäßige Tests und Audits sind absolut verpflichtend. Es gibt mittlerweile Red-Teams, die darauf spezialisiert sind die Schwachstellen von Gen-AI Applikationen aufzudecken. Auf dieser Basis können dann Begriffe oder Wortgruppen als Triggerpunkte gewählt werden, die eine weitere Kommunikation einschränken oder beenden. Unternehmen sollten kontinuierlich neue Angriffsszenarien simulieren und KI-Modelle auf Manipulationen oder Fehleranfälligkeiten testen.
• Kontinuierliches Monitoring: Auch nach dem Roll-out eines KI-Systems sollte es regelmäßig überwacht werden, um verdächtige Aktivitäten frühzeitig zu erkennen. Künstliche Intelligenz ist lernfähig, aber das bedeutet auch, dass Angreifer oft neue Methoden finden, um Systeme auszutricksen.

Quellen: McKinsey: The economic potential of generative AI: The next productivity frontier“ von 2023, Deloitte: Gen AI Market Outlook 2023, Statista Market Insights, Focus Online: www.focus.de/panorama/welt/softwareentwickler-manipuliert-system-auto-fuer-1-dollar-gekauft-chatbot-von-haendler-geraet-ausser-kontrolle_id_259523736.html 

Wir haben mit einem Spezialanbieter zu diesen Themen in unserer neuen Podcastfolge von Cybersecurity Basement gesprochen. Einer der Gründer hat uns erklärt, welche Schwachstellen er häufig sieht und gibt uns einen wunderbaren Überblick zur AI-Security Thematik weltweit.  

Sehr spannend uns empfehlenswert.