Heute noch eine weitere kleine Meldung aus der Rubrik KI-Irrsinn. Ein Gericht in Österreich hat eine eingereichte Nichtigkeitsklage formal zurückgewiesen, weil die Klagebegründung durch eine KI zusammengestellt wurde, die jede Menge Urteile erfunden hat.
Die Gefahr von LLM-generierten Inhalten
Large Language Modells (LLMs), allgemein als KI- bzw. AI-Lösungen gehandelt, geschickt eingesetzt, können durchaus eine Hilfe darstellen. Ich lasse mich bei Übersetzungen beispielsweise von entsprechenden Funktionen unterstützen, kann die Ergebnisse dann aber kontrollieren. Aber ich hatte hier im Blog auch deutlich gewarnt und häufiger über das Problem berichtet, wenn KI-Lösungen unreflektiert eingesetzt werden. Da gibt es den Beitrag Finger weg: Die Google AI-Suchergebnisse sind eine Katastrophe!, in dem ich begründe, warum ich inzwischen dazu über gegangen bin, die Google AI-Suchergebnisse auszublenden, da diese die Leute regelmäßig "in die Irre führen".
Es ist auch bekannt, dass Juristen, vor allem in den USA, sich gerne ihre Schriftsätze durch KI-Lösungen formulieren lassen. Anwälte wurden dort bereits von Gerichten sanktioniert, weil deren KI-generierte Schriftsätze Urteile auflisteten, die schlicht erfunden, also halluziniert, waren. Noch problematischer ist der Sachverhalt, dass auch US-Richter auf KI zurückgreifen und es juristisch per KI begründete "Fehlurteile" gab, die sich nicht so leicht aufheben lassen. Ich hatte im Beitrag Technische Hypotheken: Muss die KI-Revolution ausfallen? – Teil 2 auf diese Problematik hingewiesen.
KI-generierte Nichtigkeitsklage abgewiesen
In Österreich ist jetzt eine Nichtigkeitsklage eines Anwalts vom Obersten Gerichtshof (OGH) abgewiesen worden, weil diese erkennbar von einer KI erstellt wurde. Ein Blog-Leser hat mich auf den Fall hingewiesen (danke dafür), der vom ORF Steiermark in diesem Artikel aufbereitet wurde.
Es ging um ein Strafverfahren, bei dem eine Person vom Landesgericht für Strafsachen Graz, unter anderem wegen Handels mit Suchtmitteln, verurteilt worden war. Der Anwalt dieser Person wollte eine sogenannte Nichtigkeitsklage vor der nächsten Instanz führen und in Berufung gehen.
Den Richtern am Obersten Gerichtshof (OGH) fiel bei der Prüfung des eingereichten Schriftsatzes auf, dass dieser wohl ohne jegliche fachliche Kontrolle durch eine KI erstellt worden war. In der Nichtigkeitsklage waren höchstrichterliche Urteile zitiert worden, die es so niemals gab. Das Gericht sprach von zahlreichen Fehlzitaten im Schriftsatz, ein Problem, welches bereits aus den USA in juristischen Schriftwechseln hinreichend bekannt ist.
Der OGH lehnte die Nichtigkeitsklage ab und begründete dies mit der Aussage: "Das weitere, mit zahlreichen Fehlzitaten (betreffend einerseits vorgebliche Verfahrensergebnisse, andererseits zum Großteil gar nicht oder jedenfalls nicht zum angegebenen Thema existierende oberstgerichtliche Entscheidungen) durchsetzte, offenbar ohne fachliche Kontrolle (…) durch sogenannte ‚künstliche Intelligenz' erstellte Vorbringen genügt dem Erfordernis, Nichtigkeitsgründe deutlich und bestimmt zu bezeichnen, also einen Nichtigkeit begründenden Sachverhalt auf einem dem Obersten Gerichtshof als Höchstgericht angemessenen Argumentationsniveau (…) anzuführen (…), nicht ansatzweise und entzieht sich daher einer inhaltlichen Erwiderung."
Diese Erwiderung war deutlich – wenn ich mir nun anschaue, wie kritiklos oft die haarsträubendsten KI-Exzerpte akzeptiert werden, wird mir ganz anders. Das wird wird noch Verwerfungen geben, bis die Leute in Entscheidungspositionen aufwachen.
Ähnliche Artikel:
KI-Irrsinn Teil 1: Wenn ChaptGPT, Copilot & Co. dich zu Fake-Orten locken
KI-Irrsinn Teil 2: Amazon schickt Unterlassungserklärung an Perplexity AI für Einkäufe über Comet
KI-Irrsinn Teil 3: KI-generiere "Nichtigkeitsklage" vom Gericht abgewiesen
Ähnliche Artikel:
Perplexity Comet Browser Prompt Injection als großes Sicherheitsrisiko
Microsoft : Wenn die KI-Übersetzung scheitert und die Deutsche Bahn ins Spiel kommt – Teil 1
Technische Hypotheken: Muss die KI-Revolution ausfallen? – Teil 2
Sicherheit: AI-Browser und Copilot-Schwachstellen
Vivaldi positioniert sich gegen KI-Agenten
Finger weg: Die Google AI-Suchergebnisse sind eine Katastrophe!
Desaster: Sicherheitsvorfall KI-Anbieter localmind.ai – Teil 1
MVP: 2013 – 2016
Moin,
ich frage mich, was heute überall für ein Fachpersonal unterwegs ist. Oder, eigentlich frage ich mich das nicht mehr: Fiel mir schon auf, als ich ca. 10 Jahre nach dem Examen nochmal für Recherche an die Uni mußte: In der Bibliothek Bücher versteckt, Seiten rausgerissen aber überall angepaßte Dreßcode-Studenten (war so ca. '96). Auch unter Richtern fällt mir zunehmend die mangelnde Fachkompetenz auf.
Und jetzt rechnen wir das mal – aufgrund eigenen Alters – auf die neue Ärzteschaft hoch.
Gute Nacht Marianne
Eine Randnotiz aus meiner heutigen Tageszeitung: Auch Frau Kardashian ist schon aufgefallen, dass eine KI bei juristischen Themen nicht wirklich hilfreich ist. Sie hat sich bei ihrem Jurastudium wohl von einer KI beraten lassen und feststellen müssen, dass die Mehrheit der Antworten der KI falsch waren. „Deshalb bin ich ständig durch Prüfungen gefallen" …
Bei der Einführung der Taschenrechner hat uns unser Mathelehrer immer ermahnt, eine Überschlagsrechnung zu machen, um das Ergebnis auf Plausibilität zu prüfen. Damals war man froh, diese beim Rechenschieber notwendige Kommastellenprüfung endlich weg zu haben und heute haben wir wieder eine neue Technologie, der wir gern ungeprüft das Denken überlassen…
Das ist halt das Grundproblem: KI wird überwiegend von Menschen verwendet, welche die Ergebnisse nicht überprüfen und auch gar nicht dazu in der Lage sind. So zumindest meine Beobachtung. Ist halt etwas frustrierend, wenn solche Schaumschläger besser bezahlt und angesehen sind als die Leute, die tatsächlich Ahnung vom Thema haben… "aber die braucht man ja bald alle nicht mehr, denn das macht dann alles die KI." Wetten, dass nicht? Der Aufprall wird hart, aber Mitleid gibt es von mir keins.
Ihr Wort in Gottes Gehörgang!
Ich habe ja die Befürchtung, dass die von Ihnen genannten Menschen mit mangelnder Fachkompetenz sehr wohl in der Lage sind, dies durch andere Kompetenzen (freundlich Sozialkompetenzen genannt) kompensieren können. Wenn in einer Organisation dann solche Menschen auf andere Menschen treffen, die ebenfalls mangelnde Fachkompetenz aufweisen, wird die Sozialkompetenz zum entscheidenden Kriterium für Aufstieg in der Hierarchie und dann passiert genau das, was ich in vielen Organisationen (vor allem staatlich) beobachte: viel Bullshit-Bingo, viel Jargon, aber niemand versteht wirklich, was gesagt wird ausser vielleicht am unteren Ende der Fresskette ein paar Nerds, Geeks oder Ingenieure, die die eigentliche Arbeit machen, aber deren Aussagen selten ernst genommen werden.
KI beschleunigt dies und ermöglicht den "anders Kompetenten" vor allem, hübsch Aussehendes zu produzieren.
Schöne neue Welt.
@Der Christian:
"Sozialkompetenzen": Ich ergänze mal weniger freundliche Synonyme:
– komplexe Probleme nicht sehen oder kleinreden
– Experten für "Bremser" halten
– in endlosen Meetings Nicht-Anwesende "schlecht reden"
– die eigene Karriere und nicht das Wohl der Firma in den Vordergrund stellen
– Nachdenklichkeit/Eigenkritik für Schwäche halten
– Söldner-Mentalität statt Loyalität zur Firma
– immer groß/größenwahnsinnig denken und nicht mit dem kleinen Fortschritt zufrieden sein.
…
@Der Christian/MaxM: Genau die meine ich. Die gehen dem Hype z.Zt. bevorzugt auf den Leim, nur leider haben sie oftmals "was zu sagen".
Wenn ich die Ergebnisse der KI noch überprüfen muss, dann brauche ich die KI gar nicht!
Denn um Ergebnisse zu prüfen, muss ich ja die Primärquellen benutzen und da kann ich mir dann die KI-Abfrage gleich sparen und direkt auf die Primärquellen zugreifen.
Die KI macht da nur mehr Arbeit.
Ja – und sie sammelt auch noch Daten.
Ich sitze da zwischen zwei Stühlen und unterschreibe ad-hoc deine Aussage. Aber tief im Herzen ist immer noch der Gedanke: "Und wenn die KI dir die entscheidende Quelle liefert, auf die Du bei einer Suche nicht gestoßen wärst, wäre das dennoch der entscheidende Vorteil". Alleine, dieser Fall ist mir bisher bei meinen Versuchen noch nicht untergekommen. Andererseits habe ich persönlich das Gefühl, dass Google als Suchmaschine mit der Option -AI deutlich schlechter in der Qualität der Ergebnisse geworden ist. Ich habe inzwischen DuckDuckGo als Bookmark in der Lesezeichenliste des Browsers – das hätte es vor zwei Jahren nicht gegeben.
Ja, die AI-Suche bei Google kann man oft vergessen.
Ich hatte das schon mal hier erwähnt:
Ich habe mal bei Google Infos zu einem Gerät gesucht und da in der Suchzeile Herstellernamen und Gerätebezeichnung eingegeben.
Im KI-Kasten bei Google stand "Es gibt sehr wahrscheinlich ein Gerät Y von Hersteller X nicht."
Und da drunter bei den Ergebnissen der herkömmlichen Suche standen dann seitenweise Suchtreffer.
Da kennt die Google-KI nicht einmal die Inhalte des normalen Google Suchindex!
Ich würde sogar noch eins zwischen die Stühle drauf setzen. Wenn man nämlich beim Überprüfen rausfindet, dass (ausnahmsweise?) alles richtig ist, dann hat die KI wahrscheionlich auch den text schon besser formuliert als man das selbst in der Zeit könnte.
Korrekte Quellen haben und sie korrekt und schön zusammen zu fassen, das ist schon eine Kunst.
ich benutze es auch wenig. Aber eine Liste oder Tabelle zusammenstellen mit Fakten die ich sowieso kenne, geht damit schneller, als die Inhalte einzeln in Excel zusammenzustellen.
Das passiert wenn man eine KI, die aus privaten Rechtsmeinungen in Forenbeiträgen, aus Bull/Suits/Ally MCBeal/diversen Filmen und Roman-Büchern, aus allen möglichen Rechtssystemen der ganzen Welt lernt, wenn man die für das echte Leben einsetzt.
Eigentlich müsste Juss für eine KI gar nicht so ungeeignet sein. Man müsste sie aber wirklich nur mit echten Gesetzbüchern und echten Fallbeschreibungen trainieren… (für den jeweiligen Staat)
..und dann trotzdem die Ergebnisse gegenprüfen – wie man das bei einem Praktikanten auch machen würde…
Edit:
Ist ungefähr so wie wenn man es von einem Hobby Fernsehjuristen (Seher von Anwaltserien) machen lassen würde und es nicht in Frage stellt.
Viele "lernen" aus Reportagen von Fernsehsendern bzw. inzw. über andere Kanäle von Influencern und stellen nichts davon in Frage. Leider.
Das klingt in der Theorie vielleicht sinnvoll, aber auch mit passendem Inhalt bekommst du die Halluzinationen nicht weg, wodurch es im Kern die gleiche Problematik enthält.
Richtig – die bekommt mit dieser Technologie nie ganz weg. Aber die Fehler können doch minimiert werden. Prüfen muss man trotzdem.
Gerade bei den Bildgeneratoren hat man beobachten können wie Fehler (zu viele Finger – Probleme mit Händen) doch mit gezieltem Training minimiert werden.