Informationssplitter aus der KI-Welt: Fails von Algorithmen, Warnungen und Microsofts "way of AI"

Heute noch ein Sammelbeitrag zu diversen Sachverhalten rund um das Thema "künstliche Intelligenz" bzw. Large Language Models (LLMs) und Algorithmen. So haben Leute mal einen Blick auf das geworfen, was Microsoft aktuell als AI bzw. CoPilot unter Windows 11 Insider Preview implementiert hat – enttäuschend. Die ChatGPT-Entwickler warnen, dass "KI die Menschheit bedrohen könne"; und es gibt gesammelte Fälle von negativen Folgen, getroffen von Algorithmen (wären künftig KI-Entscheidungen), die von Menschen nicht erkannt bzw. korrigiert wurde. Ergänzung: In Australien hat ein fehlerhafter Sozialhilfe-Algorithmus für einen Skandal und bei Betroffenen für Verzweiflung und Suizide gesorgt.


Anzeige

Das BSI hat in einem Schaubild bzw. in diesem Artikel aufgearbeitet, was Large Language Models (LLMs) wie "ChatGPT", "LlaMA", "Bard" und "Luminous" gut können.

BSI: Was können große KI-Modelle

Im Beitrag werden Chancen und Risiken für die Industrie und Behörden umrissen. Sie können große Texte generieren, Daten analysieren, aber auch für böswillige Zwecke missbraucht werden und haben das Risiko, nicht auf aktuellen Daten zu arbeiten oder falsche bzw. inkonsistente Ergebnisse zu liefern. Man sollte also als Verantwortlicher wissen, was man tut.

Wenn (AI-)Algorithmen scheitern

Ich fand es eine spannende Geschichte – die Kollegen von heise haben in diesem Beitrag drei Beispiele zusammen getragen, in denen AI-Algorithmen gradios gescheitert sind. Hintergrund war die anstehende EU-Verordnung zum Umgang mit Künstlicher Intelligenz. Anbieter von Algorithmen (inklusive künstliche Intelligenz) sollen durch diese Verordnung gezwungen werden, eine Folgenabschätzung der Wirkung ihrer Technologie vorzunehmen. Das ist auch bitter notwendig, wie Negativbeispiele immer wieder zeigen. Es geht dabei nicht um Gaga-Abfragen, bei denen ein Windows Produktschlüssel oder ein falsches Exposé von ChaptGPT geliefert wird. Kürzlich machte in den USA ein Fall Schlagzeilen, bei dem ein Anwalt Klageschriften vor Gericht einreichte, bei denen ChatGPT einfach juristische Fälle und Urteile erfunden hatte (siehe Anwalt nutzt ChatGPT für Klage und bekommt richtig Ärger wegen "erfundener" Rechtsfälle). Vielmehr zeigt die Auflistung bei heise die Gefahr auf, die von AI-Modellen (und Algorithmen sowie Datenerfassung) ausgeht, wenn diese nicht mehr verstanden oder keiner  Folgen-/Risikoabschätzung unterworfen werden.

Wenn AI-Algorithmen scheitern

Da in den Niederlanden alle öffentlichen Verwaltungen seit 2022 verpflichtet sind, solche externen Folgenabschätzungen für ihre automatisierten Statistiksysteme vorzunehmen, gibt es dort Erfahrungen mit Super-Fails von Algorithmen. Der Fall einer Gemeinde, die zur Verkehrsberuhigung einfach nur in Autos durchfahrende Personen an Hand der Handy-Signale ermitteln wollte, zeigt die Gefahr solcher Auswertungen. Im überwachten Bezirk fand sich ein Gotteshaus einer religiösen Minderheit und die Besucher wären anhand der Signale eindeutig identifizierbar gewesen. Das Projekt wurde dann nach einer Evaluierung fallen gelassen.

Krasser ist ein Versuch, Sozialbetrug bei Beziehern sozialer Leistungen mittels solcher Algorithmen aufzuspüren. Bei der Analyse der Daten wurden 10.000 jungen Elternpaaren wegen vermeintlichem Sozialbetrugs staatliche Zuschüsse gestrichen und Rückzahlungen gefordert. Betroffene Paare gerieten dadurch nicht selten in finanzielle Probleme. Das Programm musste 2020 abgebrochen werden, weil sich herausstellte, dass alle Betroffenen zum Kreis der Paare gehörten, bei denen einer oder beide eine doppelte Staatsbürgerschaft besaßen. Der Algorithmus hatte das Merkmal "Doppelstaatsbürgerschaft" zu hoch gewichtet – mit entsprechenden Folgen. Die Kollegen von netzpolitik.org haben diesen Fall, der zu einem Millionen-Bußgeld wegen Verstoßes gegen die DSGVO und dem Rücktritt des gesamten Kabinetts von Mark Rutte führte,  2021 in diesem Artikel näher beschrieben.

Ein weiterer Fall von Algorithmen-Fail wurde in Italien aufgedeckt, als dort ein Lehrermangel per Software durch verbesserte Stellenbesetzungen behoben werden sollte. Im Endergebnis verschlechterte sich die Bilanz durch den Algorithmus, weil erfahrene Pädagogen vom System plötzlich als Aushilfslehrer eingestuft und plötzlich arbeitslos wurden. Es waren zwar alles keine "heute diskutierten LLM-Algorithmen", die in diesen Fällen zum Tragen kamen. Die Fälle zeigen aber, wie der Teufel bzw. das Risiko im Detail liegen kann und die Folgen abzuschätzen sowie die Ergebnisse abzuprüfen sind.


Anzeige

Ergänzung: Ich bin zum 8. Juni 2023 auf einen neuen Fall gestoßen. In Australien hat ein fehlerhafter Sozialhilfe-Algorithmus für einen Skandal und bei Betroffenen für Verzweiflung und Suizide gesorgt, weil die Folgen teilweise dramatisch waren. Die Kollegen von heise haben den Fall mit den Folgen wie drastische Armut in diesem Beitrag aufgegriffen. Australiens Regierung setzte das Robodebt-System zwischen 2016 und 2019 dazu ein, Rückzahlungen von Sozialhilfe-Empfängern einzufordern. Ganz lesenswert – auch für die großen Befürworter von KI in allen Lebenslagen – ohne (persönliche) Haftung der Verantwortlichen und klare gesetzliche Regeln mit vorheriger Folgenabschätzung drohen u.U. dystopische Zustände.

OpenAI-Entwickler warnt drastisch

Ich erinnere mich noch, als ich in ersten Beiträgen zum Microsofts AI-Plänen für Office und Windows wenig Begeisterung erkennen ließ. Damals gab es Kommentare der Art "soll man nicht erst schauen, was geht, bevor man mit kritisieren beginnt". Inzwischen gibt es zahlreiche Warnungen und Beispiele zu Risiken des AI-Einsatzes. Der bei Google ausgeschiedene LLM-Entwickler Geoffrey Hinton hatte ja vor einiger Zeit bereits eindringlich vor den Gefahren einer unkontrollierbaren Entwicklung besonders fortgeschrittener künstlicher Intelligenz (KI) gewarnt. Bei Interesse lässt sich bei T-Online oder beispielsweise bei tagesschau.de nachlesen, was der Godfather of AI zu sagen hat.

Auch von OpenAI Mitbegründer Sam Altmann sind Forderungen nach Regulierung von AI-Modellen bekannt. OpenAI-Mitgründer Ilya Sutskever und der Leiter der OpenAI-Abteilung für zukünftige Ausrichtung Jan Leike, haben kürzlich drastisch vor den Gefahren durch AI-Modelle gewarnt. Eine "Superintelligenz könnte die Menschheit entmachten", wird  bei Spiegel Online kolportiert (einen englischsprachigen Beitrag gibt es von Reuters). Es gibt zwar Fachleute, die das für Unsinn halten. Aber OpenAI beginnt (leider erst jetzt) ein neues Forschungsteam zusammen zu stellen, um mit erheblichen Ressourcen die Sicherheit der eigenen KI-Modelle sicherzustellen.

Microsofts erste AI-Gehversuche

Microsoft hat ja mit großen Worten den Einzug von AI unter dem Begriff Windows CoPilot in Windows 11 angekündigt (siehe Windows 11 bekommt mit "Windows Copilot" AI-Funktionen) – auch Office soll so etwas bekommen (siehe Microsoft 365 Copilot vorgestellt: KI-Funktionen für alle Office-Apps). Windows Insider können wohl einen ersten Eindruck von Windows CoPilot erhaschen. Die Tage ist mir dieser Beitrag von neowin.net untergekommen, der von einem fehlerhaften Chaos spricht und hofft, dass es besser wird.

Windows CoPilot

Interessant fand ich auch den Beitrag von Zac Bowden auf Windows Central, dass Windows CoPilot aktuell nur die Edge Sidebar sei, der irgendwie in der Taskleiste integriert wurde. Es muss wohl noch viel investiert werden, bis da was brauchbares vorliegt. Sind jetzt nur einige Infosplitter, die ich zusammengezogen habe. Aber das gezeichnete Bild ist irgendwie in meinen Augen ernüchternd.


Cookies blockieren entzieht uns die Finanzierung: Cookie-Einstellungen

Dieser Beitrag wurde unter Software abgelegt und mit , , , , verschlagwortet. Setze ein Lesezeichen auf den Permalink.

9 Antworten zu Informationssplitter aus der KI-Welt: Fails von Algorithmen, Warnungen und Microsofts "way of AI"

  1. Anonymous sagt:

    ChatGPT ist keine KI, wird aber medial als solche vermittelt. Das ist das Hauptproblem.

    • Leak sagt:

      Tja, "Maschinelles Lernen" verkauft sich halt nicht so gut… :(

    • Bernd Bachmann sagt:

      Mein Reden, aber man kann es wohl einfach nicht oft genug sagen.

      Das Ding heisst nicht ohne Grund CHAT und weist bei jeder zweiten Antwort darauf hin, dass es ein SPRACHMODELL sei. Wer ein Produkt — irgendeines, muss keine "KI" sein — für etwas völlig anderes einsetzt als das, wofür es entwickelt wurde, darf sich nicht wundern, wenn die Ergebnisse vielleicht nicht immer dem entsprechen, was er erwartet hat.

    • 1ST1 sagt:

      Auch Sprachmodelle sind eine Art KI, wie alles was auf neuronalen Netzen basiert. Der Name "ChatGPT" verdeutlicht nur, dass dieses Maschinenlernsystem eben auf die Text-Schnittstelle fokusiert ist. Du kannst aber ChatGPT fragen, ob es dir ein Bild von egal was zeichnet und es als Postscript-Datei ausgibt, und die Ergebnisse sind verbblüffend.

  2. Bernd Bachmann sagt:

    Was mich immer ärgert, ist die Mystifizierung und falsche Verwendung des Wortes "Algorithmus".

    Ein Algorithmus ist eine Handlungsanweisung. Der macht oder entscheidet gar nichts (wie man das häufig liest), sondern liegt einfach nur in der Landschaft herum. Erst wenn er ausgeführt wird, egal ob durch einen Computer oder einen Menschen, passiert etwas. Und zwar genau das, was im Algorithmus beschrieben ist. Und wenn das nicht dem entspricht, was man eigentlich wollte, liegt das nicht daran, dass Algorithmen per se übel und böse sind, sondern schlicht daran, dass dieses konkrete Exemplar eines Algorithmus für den gewünschten Zweck fehlerhaft formuliert ist.

    Das ist völlig unabhängig davon, ob dort Menschen oder Computer, Mustererkennung, "KI", "klassische" Software oder ein Flussdiagramm auf Papier involviert sind.

    • Bernd Bachmann sagt:

      Ein besonders schönes Beispiel finde ich diese niederländische Verkehrszählung.

      Zum einen hat das nun wirklich gar nichts mit KI zu tun. Nicht einmal mit Mustererkennung.

      Zum anderen: Die stellen Geräte auf, um zu ermitteln, wer wohin fährt, und sind dann erstaunt, dass man feststellen kann, wer wohin fährt? Und der böse Algorithmus ist schuld? Nicht wahr, oder?

      • Günter Born sagt:

        @All: Vielleicht einige Anmerkungen – gelegentlich habe ich das Gefühl, es wird am Kern vorbei diskutiert.

        Ob man das Ding KI (künstliche Intelligenz), AI (artifical intellignce) oder LLM (Large Language Modell) nennt, ist erst einmal sekundär. Die Leserschaft, die hier im Blog vorbei kommt, weiß, was damit gemeint ist. Mir geht es nicht darum, die Begrifflichkeiten zu schärfen – das ist ein Nebenkriegsschauplatz. Das Ziel ist es, schlicht aufzuzeigen, dass man die Ansätze hinterfragen und kontrollieren sollte und ggf. auch so regulieren muss, dass die potentiell möglichen negativen Auswüchse wenigstens nicht von Big-Tech und anwendenden Unternehmen fröhlich Urstände feiernd ausgenutzt werden dürfen. Haftung und Verantwortlichkeiten sind da das Stichwort.

        @Bernd Bachmann: Auch dein Kommentar "Und der böse Algorithmus ist schuld?" geht in meinen Augen am Kern vorbei. Ein Algorithmus ist erst einmal eine Handlungsanweisung. Aber die Verpflichtung alle öffentlichen Verwaltungen in den Niederlanden, externe Folgenabschätzungen für ihre automatisierten Statistiksysteme vorzunehmen, ist ein wichtiger Punkt. Da ist weder von KI, AI noch Algorithmen die Rede, sondern vom Zwang, eine Folgenabschätzung jeglicher Maßnahmen in diesem Bereich vornehmen zu müssen. Das ist doch schon Lichtjahre weiter, als das, was uns aktuell von Big-Tech vorgesetzt wird.

        Wer zwischen den Zeilen lesen kann, sollte die Alarmglocken läuten hören. Nehmen wir Geoffrey Hinton, der wirklich im Thema drin ist, dann bei Google aus der Entwicklung von LLMs ausscheidet, um unabhängig vor der Entwicklung zu warnen.

        Der zweite Fall sind die Gründer von OpenAI. Da sind große Fianziers im Hintergrund und meine Lesart ist die, dass Sam Altmann und Ilya Sutskever sich durch Unternehmen wie Microsoft quasi ausgeplündert sehen, weil diese die (O-Ton Altmann: noch längst nicht fertigen) LLM-Systeme auf die Nutzerschaft loslassen – mit allen möglichen negativen Folgen. Und diese Leute sehen die Gefahr, dass bei dem von Microsoft eröffneten (ich nenne es Ratten-)rennen eine Entwicklung losgetreten wird, die nicht gut werden muss.

        Wenn die Diskussion in Richtung "Folgenabschätzung" und Haftung/Regulierung durch die Anbieter und nutzende Firmen geht, hätten wir schon viel gewonnen. Dann ist es am Ende egal, ob der Ansatz genannt wird (ob AI, KI, LLM oder wie auch immer als vermeintlicher oder objektiv korrekter Fachterminus) – imho.

        • Bernd Bachmann sagt:

          Fair enough.

          Ich habe selbst jahrelang in diesem Bereich gearbeitet; wahrscheinlich sträuben sich mir deshalb immer die Nackenhaare, wenn ich Begriffe, die nichts miteinander zu tun habe, bunt durcheinandergemischt sehe.

          Was mir wichtig ist, und deshalb bleibe ich dabei, dass es nicht egal ist, wie wir das Zeugs nennen: In meinen Augen ist nicht die Technik an sich gefährlich, sondern wird es erst dann, wenn falsche Erwartungen damit verbunden sind.

          Ein LLM kann prinzipbedingt keine verlässlichen Informationen liefern und wird es auch nie können. Das MUSS allen, die so etwas ernsthaft verwenden wollen, klar sein. Ist das nicht der Fall, und glaubt man dem "Geschwätz" (= Chat) blind, dann, ja dann kann es übel werden.

          • Singlethreaded sagt:

            Das stimmt schon, aber wenn solche Funktionen zum Beispiel in Windows oder Office zum Einsatz kommen, dann bezweifle ich, dass der normale Anwender die Kenntnisse hat diese Feinheiten korrekt zu bewerten.
            Wenn der Computer das so sagt, dann muss es doch auch richtig sein. Was aber wenn auf Grund falscher Antworten des LLMs dann ein realer Schaden entsteht? Das Thema Haftung wird früher oder später aufkommen.

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert

Hinweis: Bitte beachtet die Regeln zum Kommentieren im Blog (Erstkommentare und Verlinktes landet in der Moderation, gebe ich alle paar Stunden frei, SEO-Posts/SPAM lösche ich rigoros). Kommentare abseits des Themas bitte unter Diskussion.