[English]Large Language Modelle (LLMs) lassen sich über Prompts angreifen, um den Modellen unbefugt Daten zu entlocken. Dabei könnten auch 'Man in the Prompt'-Browser-Angriffe benutzt werden, um AI-Anfragen von Benutzern zu manipulieren und für kriminelle Aktivitäten zu benutzen.
Mit dem Einzug von KI-Systemen in Unternehmen tun sich auch neue Angriffsmethoden auf, die aber teilweise bereits aus anderen Bereichen bekannt sind. Man-in-the-middle-Angriffe zum Mitlesen oder Manipulieren von Daten sind längst bekannt. Nun gibt es eine neue Angriffsmethode, als 'Man in the Prompt' bezeichnet, um LLMs über den Browser der Benutzer anzugreifen. Nic Adams, Co-Founder und CEO von 0rcus (Sicherheitsanbieter im KI-Bereich) hat mir einige Informationen über dieses Thema zukommen lassen.
'Man in the Prompt'-Angriff im Browser
Der "man-in-the-prompt"-Angriff ('Man-in-the-Prompt' attack) ist ein neuartiger Prompt-Injection-Vektor, da er auf der Ebene des Document Object Model (DOM) operiert. Die Angreifer nutzen eine kompromittierte Browser-Erweiterung, um bösartige Anweisungen direkt in das Eingabefeld eines LLM einzuschleusen.
Diese Methode umgeht die herkömmliche Sicherheit auf Anwendungsebene, da die Angriffs-Payload clientseitig über eine vertrauenswürdige Erweiterung ausgeführt wird, anstatt sich auf eine direkt vom Benutzer erstellte Eingabeaufforderung zu stützen.
Interne in Firmen gehostete LLMs sind besonders anfällig, da sie aufgrund ihrer reduzierten Sicherheitsvorkehrungen und ihres vertrauensvollen Umfelds, in dem sie häufig mit sensiblen proprietären Daten trainiert werden, eine lukrative und exponierte Angriffsfläche bieten.
Die DOM-Level-Injection ermöglicht es einem Angreifer, hochsensible Unternehmensinformationen – von Finanzprognosen bis hin zu geistigem Eigentum – zu exfiltrieren. Der Angriff nutzt das interne LLM eines Unternehmens als Tool zur Datenexfiltration. Das ist eine Methode, die von Standard-Netzwerksicherheitsmaßnahmen nicht so leicht blockiert werden kann.
Dieser Angriff ist ohne Wissen des Benutzers möglich, da ein böswilliger Akteur eine legitime, beliebte Browser-Erweiterung erwerben und darin bösartigen Code einfügen kann, der dann als stilles Update an den Browser des Benutzers übertragen wird. Die Auswirkungen auf die Sicherheit sind gravierend, da der Benutzer weiterhin Vertrauen in die Erweiterung hat, während diese im Hintergrund durch Interaktion mit LLMs heimlich Daten abfließen lässt – ein Vorgang, der sowohl für den Benutzer als auch für herkömmliche Sicherheitstools unsichtbar ist.
Der wahrscheinlichste erste Angriffsvektor für diesen Angriff ist eine Kombination aus Social Engineering und Kompromittierung der Lieferkette, bei der Benutzer dazu verleitet werden, bösartige Erweiterungen zu installieren, oder bei der eine vertrauenswürdige Erweiterung verkauft und dann als Waffe eingesetzt wird. Ich gehe davon aus, dass eine zukünftige Ausnutzung sehr wahrscheinlich ist, da dieser Angriff sowohl skalierbar als auch mit herkömmlichen Sicherheitskontrollen schwer zu erkennen ist und somit eine lukrative Gelegenheit mit geringem Aufwand für Angreifer darstellt.
Die Abwehr erfordert einen mehrschichtigen Ansatz, beginnend mit strengen, granularen Berechtigungsmodellen für alle Browser-Erweiterungen und der Implementierung von Webhooks zur Überwachung von DOM-Interaktionen in Echtzeit. Für interne LLMs würde ich empfehlen, die LLM-Umgebung zu isolieren, ihre Prozesse vom Haupt-DOM zu sandboxen und Verhaltensanalysen zu implementieren, um anomale LLM-Abfragen und Exfiltrationsmuster zu erkennen.
MVP: 2013 – 2016
Was dagegen hilft: Benuztung von Addons in Browsern per Whitelist von vertrauenswürdigen Addons zu limitieren. Geht mit Edge, Chrome und Firefox per Gruppenrichtlinien. Sollte man sowieso so machen.
Das Hilft aber nicht wirklich, denn die Besitzer der Addons wechseln manchmal so oft wie andere ihre Socken wechseln. Da musst du schon schwer da hinterher sein um herauszufinden, wer der augenblickliche ist.
Ich habe da auch so ein paar Addons bei denen ich mir nicht wirklich sicher bin, ob die mehr Schaden als nutzen bringen, aber ich Aktivere die nur hin und wieder über die Entwickler Schnittstelle und lösche sie wieder, wenn ich sie nicht mehr brauche. Ob das Sinn ergibt, kann ich nicht sagen, aber die Addons sind schon sehr nützlich, wenn man sie hat.
Interessanter Ansatz. Aber was unterscheidet hier ein Angriff auf das LLM oder auf andere interne oder externe Webservices? Ein Punkt ist wie bringt die Browser Extension die Daten dann hinaus. Bei vielen Daten, sollte ein Upload eventuell auffallen. Genauso könnte die Extension aber auch auf eine Datenbank zugreifen, wenn es ein internes Browserbasiertes SQL Interface gibt… Oder habe ich was falsch verstanden?