Gemini Trifecta: Schwachstelle in Gemini Suite von Google

Sehr unschöne Sache, die Tenable die Tage offen gelegt hat. In der Gemini Suite von Google gab es eine "Gemini Trifecta" getaufte Schwachstelle, die Tenable Sicherheitsforscher aufgedeckt haben. Das markiere einen entscheidenden Wendepunkt in der KI-Sicherheit: Denn Cyberkriminelle hätten Gemini nicht nur angreifen, sondern für Angriffe instrumentalisieren können, heißt es.

Es hat es in sich, was Tenable mir die Tage in einer Information zukommen ließ. Deren Sicherheitsforscher sind laut eigenen Angaben auf drei Schwachstellen in der Gemini Suite von Google gestoßen und haben diese dann mit "Gemini Trifecta" benannt. Inzwischen sind diese Schwachstellen behobenen, hätten Nutzer aber erheblichen Datenschutzrisiken ausgesetzt. Denn Angreifer hätten das Verhalten von Gemini manipulieren und unbemerkt sensible Daten wie Standortinformationen oder hinterlegte Nutzerdaten („Memories") abgreifen können.

Die Gemini Trifecta-Schwachstellen

Die "Gemini Trifecta"-Schwachstellen betrafen gleich drei zentrale Komponenten der Gemini Suite, die Nutzer jeweils auf unterschiedliche, aber gleichermaßen gefährliche Weise exponierten:

• Gemini Cloud Assist: Angreifer konnten manipulierte Logs einschleusen. Das System hätte dann bei der Nutzerinteraktion ungewollt bösartige Instruktionen befolgt.
• Gemini Search Personalization Model: Angreifer konnten Anfragen in den Browserverlauf eines Opfers einschleusen. Gemini behandelte diese dann als vertrauenswürdigen Kontext, was zum Abfluss von sensiblen Informationen wie hinterlegten Nutzerdaten und Standortdetails hätte führen können.
• Gemini Browsing Tool: Angreifer konnten Gemini dazu bringen, verdeckte ausgehende Anfragen zu senden, über die sensible Nutzerdaten direkt an einen von ihnen kontrollierten Server hätten fließen können.

Zusammengenommen öffneten diese Schwachstellen Angreifern Tür und Tor zu Gemini: Sie hätten das Verhalten der KI manipulieren und sensible Daten abgreifen können – ohne dass Betroffenen jemals etwas aufgefallen wäre, schreibt Tenable. Die "Gemini Trifecta" habe gezeigt, dass Angreifer weder direkten Zugriff noch Malware oder Phishing-Mails benötigen: vielmehr ließ sich Gemini selbst instrumentalisieren – und das hat weitreichende Folgen für Nutzer und Unternehmen, die auf KI-gestützte Tools zurückgreifen.

Tenable sieht ein Kernproblem

Laut Tenable Research bestand das Kernproblem darin, dass die Gemini Integrationen nicht klar zwischen legitimen Nutzereingaben und von Angreifern eingeschleusten Inhalten unterschieden. So konnten manipulierte Logs, fingierte Suchverläufe oder versteckte Webinhalte als vertrauenswürdig behandelt und von Standardfeatures zu Einfallstoren werden.

"Die Stärke von Gemini besteht darin, Logs, Suchanfragen und Browseraktivitäten in Kontext zu setzen. Genau diese Fähigkeit wird jedoch zum Risiko, wenn Angreifer den Input manipulieren", erklärt Liv Matan, Senior Security Researcher bei Tenable.

"Die ‚Gemini Trifecta' veranschaulicht, wie KI-Plattformen unbemerkt manipuliert werden können und sich Datendiebstahl verschleiern lässt – was den Sicherheitsherausforderungen für Unternehmen eine völlig neue Dimension verleiht. Wie jede leistungsstarke Technologie bieten Large Language Models (LLMs) wie Gemini enorme Vorteile, sind aber auch anfällig für Schwachstellen. Security-Teams müssen entschlossen vorgehen und Schwachstellen schließen, bevor Angreifer sie ausnutzen können – sprich, den Schutz von KI-Umgebungen proaktiv statt reaktiv angehen. Es geht nicht nur um die Behebung von Schwachstellen, sondern darum, KI-Sicherheit neu zu definieren in einer Zeit, in der die Plattformen selbst zu Einfallstoren werden können."

Die potentiellen Auswirkungen

Die potenziellen Auswirkungen der "Gemini Trifecta"-Schwachstellen sind für mich erschreckend, und bestärken mich drain, vor dem Einsatz von AI-Modellen in Unternehmen zu warnen, bevor nicht die Risiken klar benannt und beseitigt sind. Denn wäre es Angreifern gelungen, die "Gemini Trifecta"-Schwachstelle auszunutzen, hätten sie:

• unbemerkt bösartige Instruktionen in Logs oder Suchverläufe einbetten können.
• sensible Informationen wie hinterlegte Nutzerdaten und Standortverläufe abgreifen können.
• Cloud-Integrationen missbrauchen können, um auf weitere Cloud-Ressourcen zuzugreifen.
• Gemini dazu bringen können, Nutzerdaten über das Browsing Tool an einen von ihnen kontrollierten Server weiterzuleiten.

Es wäre quasi die Büchse der Pandora offen gestanden und Angreifer hätten sich am Wissen des Opfers bedienen können.

Empfehlungen für Security-Teams

Obwohl Google alle drei Schwachstellen behoben hat, empfiehlt Tenable Security-Teams:

• KI-gestützte Features nicht als passive Tools, sondern aktive Angriffsflächen zu betrachten.
• Logs, Suchverläufe und Integrationen regelmäßig auf Manipulation zu überprüfen.
  auffällige Tool-Ausführungen oder ausgehende Anfragen zu überwachen, die auf Datenabfluss hindeuten könnten.
• KI-gestützte Dienste auf Resilienz gegen Prompt Injection zu testen und Schutzmaßnahmen proaktiv zu verstärken.

"Diese Entdeckung unterstreicht, dass es beim Thema KI-Sicherheit nicht um die Behebung einzelner Schwachstellen geht", betont Matan. "Es geht darum, zu antizipieren, wie Angreifer die spezifische Funktionsweise von KI-Systemen missbrauchen könnten, und mehrstufige Schutzmaßnahmen zu etablieren, die verhindern, dass kleine Risse zu systemischen Risiken werden."

Aber mal offen gefragt: Haben die Protagonisten der "KI müssen wir einführen"-Bewegung und die IT-Abteilungen das wirklich auf dem Radar? Mein Bauchgefühl sagt eher nein – mag mich aber täuschen. Der komplette Tenable-Bericht mit tiefergehenden Erläuterungen findet sich hier.