Forscher sind auf ein mit Russland verbündete Pravda-Netzwerk gestoßen, welches "LLM-Grooming" betreibt. Das Netzwerk überschwemmt das Internet mit Desinformationen, um Suchmaschinen, und nun auch Chatbots wie ChatGPT zu beeinflussen. Quasi der nächste Sargnagel in die Glaubwürdigkeit von Chatbots.
Chatbots wie ChatGPT verwenden große Sprachmodelle (LLMs) um Antworten auf Nutzerfragen zu generieren. Die LLMs greifen dabei auf die Inhalte von Webseiten aus dem Internet zu. Während der gemeine Nutzer alles, was ihm von Chatbots vorgesetzt wird, für bare Münze nimmt, geht bei informierten Leuten bereit seit langem der Spruch "Shit in, shit out" um. Das heißt, die Antworten der Sprachmodelle sind nur so gut wie das Material, auf dem sie fußen. Ich hatte ja bereits im Artikel Finger weg: Die Google AI-Suchergebnisse sind eine Katastrophe! einige persönliche Erfahrungen reflektiert, die darauf fußen, dass LLMs unbewusst Mist erzeugen. Aber das lässt sich auch gezielt missbrauchen.
LLMs werden durch Trainingsdaten beeinflusst
Forscher gehen bereits seit einiger Zeit von der logischen Schlussfolgerung aus, dass die zunehmende Anzahl an AI-generierten Internetinhalten zu einer Art "Vergiftung" der LLMs führen, und so deren Qualität mit der Zeit stark vermindern.
Aber noch hängen die technologiegläubigen an den "Lippen" von ChatGPT und anderen Chatbots. Vor einem Jahr sind Forscher aus Frankreich bereits auf ein Netzwerk von Internetseiten gestoßen, die aus Russland befüllt werden und gezielt Desinformation verbreiten. Das britische Medium The Guardian hat nun die neuesten Erkenntnisse aus einer Studie des britischen Think-Tank Institute for Strategic Dialogue (ISD) im Artikel Hundreds of English-language websites link to pro-Kremlin propaganda aufbereitet.
Das russische Pravda-Netzwerk
Ein Russland zugeschriebenen Pravda-Netzwerk ist seit seiner Gründung im Jahr 2014 eine der produktivsten Informationsoperationen unserer Zeit, heißt es. Seit Gründung im Jahr 2014 hat das Netzwerk aus rund 90 Websites mehr als 6 Millionen Artikel veröffentlicht. Und es wird weiterhin alle paar Sekunden ein neuer Beitrag veröffentlicht.
Die Erkenntnis: Hunderte englischsprachige Websites – darunter Nachrichtenagenturen, Faktenprüfer und akademische Einrichtungen, also von Mainstream-Nachrichtenportalen bis hin zu Nischenblogs – verlinken auf Artikel eines kremlfreundlichen Netzwerks, das das Internet mit Desinformation überschwemmt.
Mehr als 80 Prozent der untersuchten Seiten behandeln die Artikel des Pravda-Netzwerks, auf die sie verlinken, als glaubwürdig, wobei nur eine kleine Minderheit den Kontext der Artikel in Verbindung mit einer russlandfreundlichen Operation angibt.
Die Studie des Institute for Strategic Dialogue (ISD) ergab, dass in mehr als 80 % der analysierten Zitate die Websites das Netzwerk als glaubwürdige Quelle behandelten, wodurch dessen Narrative legitimiert und dessen Sichtbarkeit erhöht wurden. Die Desinformationskampagne – bekannt als Pravda-Netzwerk – wurde im vergangenen Jahr von der französischen Regierung aufgedeckt.
Beeinflussung der Suche und LLM-Grooming
Ziel der gesamten Operation des Pravda-Netzwerks ist es, Suchmaschinen und große Sprachmodelle bzw. deren Chatbots mit russischen Narrativen und Desinformationen zu füttern. Die Kampagne scheint zu fruchten, denn das ISD warnt in seiner Studie, dass die Websites durch die Verlinkung zu Artikeln in diesem Netzwerk unbeabsichtigt die Wahrscheinlichkeit erhöhten, dass Suchmaschinen und große Sprachmodelle (LLMs) die Seiten anzeigen.
Das gilt selbst in den Fällen, in denen die verlinkenden Websites das Pravda-Netzwerk als Quelle anzweifelten. Die LLMs berücksichtigen diese Zweifel schlicht nicht. Ich hatte gestern ja bereits im Artikel Grok-Chatbot, Elon Musk und die abgedrehte KI anklingen lassen, wie beeinflusste Chatbots (auch außerhalb des Pravda-Netzwerks) ziemlichen Unsinn und Fehlinformationen verbreiten können.
Und jetzt wollen die großen AI-Anbieter die Browser mit Agenten und AI-Funktionen ausstatten, damit die Nutzer beim Surfen automatisch durch solche Funktionen informiert werden. Alleine die Nichterkennung von Fehlinformationen ist bereits eine große Gefahr, dass Desinformation die Oberhand gewinnt. Wenn man dann noch die Möglichkeit des Prompt-Injection durch unsichtbare, in die Webseiten eingebettete Befehle berücksichtigt, ergeben sich dystopische Aussichten.
Browser-Erweiterung erkennt Fehlinformationen
Diese Ergebnisse der ISD-Studie zeigen, dass eine große und vielfältige Gruppe von Websites Inhalte des Pravda-Netzwerks für ihre Berichterstattung und Kommentare nutzt. Das verleiht dem Pravda-Netzwerk Sichtbarkeit und mehr wahrgenommene Legitimität. Das gilt selbst wenn Faktenchecker oder andere Webseiten die Inhalte der verwendeten Pravda-Netzwerk-Links widerlegen. Suchmaschinen interpretieren den Link selbst als Zeichen für Vertrauen und Relevanz, wodurch die Links mit größerer Wahrscheinlichkeit in den Suchergebnissen der Nutzer erscheinen.
Um Einzelpersonen das Erkennen von Websites des Pravda-Netzwerks zu erleichtern, hat ISD eine kostenlose Browser-Erweiterung entwickelt. Diese lässt sich in Chrome oder Edge installieren und warnt Nutzer, wenn sie eine Website des Pravda-Netzwerks aufgerufen haben.
Die Warnung kennzeichnet Websites des Pravda-Netzwerks mit einem Warnhinweis und einer Farbänderung, sodass Artikel, die aus diesem Netzwerk stammen, leichter zu erkennen sind. Die Warnfunktion hat keinen Einfluss auf die Navigation der Nutzer auf der Website.
Vergebliche Hoffnung, es sieht nicht gut aus
Das ISD hofft, dass die Verwendung der Erweiterung dazu beitragen kann, andere Websites davon abzuhalten, auf Inhalte des Pravda-Netzwerks zu verlinken, wodurch die Reichweite der Operation eingeschränkt wird. Das halte ich für einen frommen Wunsch, die Lemminge wird es nicht kümmern, die Party geht weiter, bis nichts mehr geht.
Mehr Details lassen sich dem The Guardian-Artikel sowie der ISD-Studie, die beide oben im Text verlinkt sind, entnehmen. Der Fall ist mal wieder ein exzellentes Beispiel, wie die Gier westlicher Tech-Konzerne, gepaart mit der Naivität der Nutzer und westlicher Gesellschaften, ein toxisches Umfeld für Propaganda und Fehlinformationen schaffen.
Und jetzt habe ich nicht mal die Ansätze, AI-Agenten und LLMs gezielt durch Prompt-Injection zu manipulieren und zu bösartigen Aktionen zu verleiten, berücksichtigt. Es gehört nicht viel Phantasie dazu, zu erkennen, wohin dies, gepaart mit der Dekadenz in Kreisen westliche Gesellschaften, führen dürfte.
Ähnliche Artikel:
KI-Irrsinn Teil 1: Wenn ChaptGPT, Copilot & Co. dich zu Fake-Orten locken
KI-Irrsinn Teil 2: Amazon schickt Unterlassungserklärung an Perplexity AI für Einkäufe über Comet
KI-Irrsinn Teil 3: KI-generiere "Nichtigkeitsklage" vom Gericht abgewiesen
KI-Irrsinn Teil 4: Wenn die Anwender mal selber machen
KI-Irrsinn Teil 5: Deloitte, die KI und der versemmelte Report in Australien
Finger weg: Die Google AI-Suchergebnisse sind eine Katastrophe!
SesameOp: Neuartige Backdoor in OpenAI API für C&C missbraucht
Perplexity Comet Browser Prompt Injection als großes Sicherheitsrisiko
AI-Sicherheit: Fast alle LLMs leaken private API-Keys auf Github; ChatGPT hat Schwachstellen
Edge for Business und AI/Copilot im Browser: Böse Hörstörung bei Microsoft?
Vivaldi positioniert sich gegen KI-Agenten
MVP: 2013 – 2016
Da sieht man doch dass man Chatbots allgemein und ChatGPT im Besonderen als Informationsquelle komplett vergessen kann. In Russland herrscht eben eine andere "Wahrheit" ( Prawda Правда). Und wenn sich Chatbots so leicht beinflussen lassen zeigt sich deren größte Schwäche. Und nein man braucht keine Browser Erweiterungen um Fehlinformationen zu erkennen. Dafür genügt der gesunde Menschenverstand schon aus.
Das Problem genau DER fehlt aber so manchem!
Siehe die Wagenknecht und deren Anhänger!
Oder viele AfD-Jünger!
Tja, und deshalb ist die Erde ja auch eine Scheibe.
Politische Ideologie != gesunder Menschenverstand
Das ein hat mit dem anderen nix zu tun… zumal es da mehr als nur schwarz weiss gibt… beide Ideologien haben in einzelnen Punkten nicht unrecht… nur das Gesamtkonzept ist halt Scheiße!
Auch LLM halte ich nicht für schlecht in speziellen Disziplinen nur das wie es uns reingedrückt wird ist als Konzept eben absolut scheiße!
Aber heh wo ist das Problem? Nutze deinen gesunden Menschenverstand und alles ist OK!
Das ist halt das Problem mit "nachplappernden Papageien" die nicht wirklich selbst denken… Garbage in — Garbage out!
Naja, der Einschlag zu "russischer Desinformation" scheint mir doch irgendwie selbst ein wenig Propaganda zu sein.
Denn natürlich gilt das genauso für Propaganda aus sämtlichen anderen Quellen und es wird jawohl kaum jemand bestreiten, dass westliche "Dienste" da nicht mindestens genauso gut drin sind oder?
Das Problem ist genereller Natur und betrifft alle Themenbereiche und umfasst auch die Vorfilterung der großen Suchmaschinen ganz ohne KI. Information ist nun mal eine Waffe und alle Akteure versuchen irgendwie ihre Position zu verstärken.
Die Erkenntnis müsste eigentlich sein, dass die Empfänger, also wir alle, vorsichtig sein sollten mit vermeintlich erkannten Wahrheiten.
"KI ist die Zukunft" – so jedenfalls nicht, denn solange die Algorithmen dahinter nicht wirklich "Intelligent" sind (sondern nur aus mathematischer Wahrscheinlichkeit heraus operieren), kommt da u.U. auch nix Intelligentes heraus! Das meiste was heute als KI bezeichnet wird, ist keine KI…
Solche Dinge machen eine Chat LLM menschlicher als man möchte.
Wenn man tagtäglich in den Medien irgendwelche dinge eingetrichtert bekommt,
dann glaubt man diese dinge irgendwann und geht davon aus, dass sie echt sind.
Passiert so fast täglich auch in Deutschland!
Nun bekommt die LLMs irgendwelche Falschaussagen als Wahrheit verkauft,
bis sie "Glauben" das erzählte muss die Wahrheit sein.
Ein ganz Normales verhalten
Gegenprüfen macht keiner von beiden, und wenn doch, orientiert man sich an der Mehrheit.
Und wenn die Mehrheit z.b. der Meinung ist, es gibt mehr als XY-Chromosom,
dann muss das der Biologie und Wissenschaft zum Trotz eben so sein.
Hat der Reddit-Datenbestand dafür nicht schon gereicht?
> Browser-Erweiterung erkennt Fehlinformationen
Ganz schlechte Idee.
Wenn jetzt schon Browsererweiterungen die Absolute Wahrheit verkünden, sehe ich schwarz. Nicht nur weil die das machen, sondern vor allem weil die Blitzbirnen es einfach nicht mehr auf die Reihe bekommen den gesunden Menschenverstand einzuschalten.
Falsche Interpretation!
Du sollst das Markierte gegenprüfen!
So wie Du das interpretierst, hat der Nutzer das selbstständige Denken längst aufgegeben!
Hat das die Masse nicht längst? Also wenn ich mir hier die ganzen Phishing News ansehe ganz eindeutig!
https://ru.wikipedia.org/wiki/%D0%98%D1%81%D1%82%D0%B8%D0%BD%D0%B0
pravda != Wahrheit
genauso wenig wie
mir != Frieden ("mir" ist "Dorf" im alt russ.)
Vielleicht ist die Prämisse, die AI-Anbieter und deren Geldgeber würden eine korrekt funktionierende AI anstreben, falsch. Wer würde denn am meisten von einer Erosion des Wissens profitieren? Früher hat man Bücher und Zeitungen zensiert, heute ist es viel geschickter, unter dem Signum der Freiheit maximale Verwirrung zu stiften und mithilfe einer scheinbar allwissenden maschinellen Intelligenz die Gehirne der Menschen zu infiltrieren. Peter Thiel glaubt nicht mehr daran, dass Freiheit und Demokratie miteinander vereinbar sind. Die Wahrheit ist formbar, es kommt lediglich darauf an, wer sie wie formuliert. Und das volle Ausmaß wird erst offensichtlich, wenn eine ganze Generation mit AI großgeworden ist. Sind Nadella, Altman & Co. zu doof, um den konzeptionellen Mangel der LLM zu erkennen? Das darf man bezweifeln, deshalb geht es ihnen vermutlich um etwas ganz anderes.
"Die Wahrheit ist formbar, es kommt lediglich darauf an, wer sie wie formuliert."
Wir leben nun seit ca. 100 Jahren mit der evidenzbasierten Erforschung dessen, was wir allgemein als Propaganda verstehen, schlussendlich aber einfach nur das Wissen über massenpsychologische Prozesse ist.
Daher ist das Thema LLM nur eine weitere Iteration dessen was längst Teil unserer Gesellschaften ist.
Und auch wenn einige gerne das russische Feindbild pflegen mögen, die Erfinder und Meister darin waren und sind die USA. Beispielsweise als Erinnerung: Brutkastenlüge und Massenvernichtungswaffen im Irak. Stell dir ein LLM vor, wenn ein Internet wie heute schon in den 90ern existiert hätte und dann würdest du es nach einem der beiden Themen befragen…
Der erste allgemeine Merksatz in der Informatik lautet nun:
Alles, was von Menschen programmiert wurde, kann von ihnen nach Belieben manipuliert werden, und alles, was eine AI gelernt hat, kann sowohl von Menschen als auch von jeder anderen AI manipuliert werden.