In meiner Artikelreihe greife ich ja besondere Fails auf, die der KI-Irrsinn gerade produziert. Im aktuellen Beitrag möchte ich einen Blick "vor die eigene Haustür" werfen, und ein Thema anschneiden, was jeden IT-Entscheider und -Administrator im Unternehmen tangiert. Anwender, die das Ganze in die Hand nehmen, per KI und Vibe Coding ihre eigene Software brauen, und so nebenbei eine Schatten-IT mit riesigen Sicherheitslöchern aufreißen.
Ein Gespräch in der Familie
Ich begleitet das Thema KI hier im Blog ja durchaus kritisch, weil in breiten Teilen des Managements und der Nutzerschaft eine recht unreflektierte Haltung gegenüber einer, gezielt und überlegt eingesetzten, recht nützlichen Technologie herrscht. Natürlich hinterfrage ich auch ständig meine Position.
Vor einer Woche war ein Familienmitglied zu Besuch bei uns. Ich habe den Mann vor 20 Jahren, seinerzeit ein frisch gebackener Elektrotechnik-Ingenieru, in die .NET-Entwicklung eingeführt und mit ihm erste Schritte in C# unternommen. Seit dieser Zeit ist da ein sehr erfahrener C#- und .NET-Entwickler herangewachsen, der bei drei hidden Champions "im Ländle geschaffet het". Auf meine Frage, ob man im aktuellen Umfeld (Medizintechnik) Windows 11 einsetze und wie man es mit KI halte, kamen sehr interessante Aussagen.
- Sein Entwicklungsrechner ist auf Windows 11, wobei das wenig interessiert, da er sich in der Visual Studio-Entwicklungsumgebung bewegt.
- Da die Anwendungssoftware, die er programmiert, auf Datenbanken, die unter Linux laufen, zugreift, ist ihm egal, welche Windows-Clients Anwender oder Ärzte einsetzen – damit hat er nichts zu tun.
- Zum Thema KI befragt, meinte er, dass er sich bei der Code-Entwicklung von der KI unterstützen lässt, aber das Ganze überwachen und selbst den Programmcode schreiben muss. Die KI liefert also nur Code-Schnipsel für bestimmte Anforderungen als Rohgerüst.
- Zum Thema KI in der Anwendung hieß es, dass der Mitbewerb das mache, und sein Arbeitgeber jetzt verstärkt Anfragen erhalte, weil man genau dieses Thema verhalten angehe. Die Kunden wollen keine KI im Produkt.
Ich lege jetzt mal keine Details offen, aber der Arbeitgeber konnte vor einiger Zeit schon mal davon profitieren, dass ein Konkurrent sich einen Fehler im Produkt leistete, der die Patienten hätte gefährden können. Seinerzeit mussten die betreffenden Geräte des Mitbewerbers getauscht werden, was einen großen (Reputations-)Schaden gab. Das Gespräch zeigte mir erneut, was bestimmte Entscheidungen bewirken können und es nicht immer gut ist, mit hipp-hipp-hurra an der Spitze irgendwelcher Wellen zu schwimmen, sondern vorher zu denken.
Wenn die Anwender mal machen
Der Artikel war aber schon länger auf meiner Agenda, weil ich ein Meinungsbild der Leserschaft erfragen wollte. Ich hatte hier ja schon mal kritisch über die Verwerfungen und Risiken des Vibe Coding (also Software ohne Kenntnisse per KI erstellen zu lassen) berichtet (siehe Links am Artikelende). Und ich hatte im Beitrag Absturz der Softwarequalität: Normalisierung einer Katastrophe über das Thema Softwarequalität geschrieben.
Damit haben wir die Zutaten für die nächsten Katastrophen, die sich direkt vor unserer aller Haustüre ereignen werden. Und als Beleg bin ich bei administrator.de auf den Post Der User der sich "selbst" hilft? gestoßen, wo ein IT-Administrator einen bedenklichen Trend beschreibt.
- Beim vorherigen Arbeitgeber des Posters verwenden Entwickler KI zur Code-Erstellung, was in Ordnung ist. Erschreckend fand der Poster allerdings, dass der generierte Code teilweise 1:1 ins Produktivsystem übernommen wurde. Und dies ohne Review, ohne Testumgebung, und teilweise, nachdem sensible Unternehmensdaten direkt in die KI gefüttert wurden.
- Inzwischen arbeitet der Poster in einer Regierungseinrichtung im 2nd-Level-Sysadmin-Team und macht dort die gleiche Erfahrung. Code, Workarounds oder Anleitungen würden blind von der KI übernommen heißt es. Fachwissen werde durch vermeintliche "KI-Expertise" ersetzt. Und für den Poster besonders bitter, wie er schreibt: Endanwender kämen mit KI-generierten "fachspezifischen Fehlermeldungen" an und konfrontieren damit den 1st-Level-Support. Die Mitarbeiter sind mitunter völlig vor den Kopf gestoßen.
Der Poster beschreibt damit einerseits eine Entwicklung, die wir vermutlich alle aus der IT derzeit erleben. Und er weist auf ein besonderes Problem der "KI-Schatten-IT" in den Unternehmen hin, die am Ende des Tages massiv die Unternehmenssicherheit gefährden. Ich fand, das Thema lässt sich gut unter "KI-Irrsinn" verorten und mich interessiert, wie ihr in der Leserschaft in eurem Umfeld damit umgeht? Wie verhindert ihr in der IT, dass der Anwender, der "sich vermeintlich selbst hilft", die Firma per KI um Hab und Daten bringt?
Ähnliche Artikel:
KI-Irrsinn Teil 1: Wenn ChaptGPT, Copilot & Co. dich zu Fake-Orten locken
KI-Irrsinn Teil 2: Amazon schickt Unterlassungserklärung an Perplexity AI für Einkäufe über Comet
KI-Irrsinn Teil 3: KI-generiere "Nichtigkeitsklage" vom Gericht abgewiesen
KI-Irrsinn Teil 4: Wenn die Anwender mal selber machen
KI-Irrsinn Teil 5: Deloitte, die KI und der versemmelte Report in Australien
Ähnliche Artikel:
Vibe Coding-Fail: Drama in Brasilien, Dating-App für Lesben legt Daten offen
Vibe Coding ist, wenn dein "Friend Pendant" von jedem mitgehört werden kann
Desaster: Sicherheitsvorfall KI-Anbieter localmind.ai – Teil 1
Ergänzung KI-Desaster bei Localmind GmbH und Morgendigital GmbH – Teil 2
localmind.ai: KI-Sicherheitsvorfall, es ist noch nicht vorbei – Teil 3
Absturz der Softwarequalität: Normalisierung einer Katastrophe
Die KI-Blase wird platzen, aber wann?
MVP: 2013 – 2016
+ Betr. "Da die Anwendungssoftware, die er programmiert, auf Datenbanken, die unter Linux laufen, zugreift, ist ihm egal, welche Windows-Clients Anwender oder Ärzte einsetzen – damit hat er nichts zu tun.":
Ach ja? Probleme von unter Windows laufenden DB-Konnektoren gegen bspw. MariaDB, PostgreSQL oder Oracle DB sind sattsam bekannt; wundert mich, dass er da noch nicht reinlief.
+ Betr. "Endanwender kämen mit KI-generierten "fachspezifischen Fehlermeldungen" an und konfrontieren damit den 1st-Level-Support. Die Mitarbeiter sind mitunter völlig vor den Kopf gestoßen.":
Verstehe ich nicht. Wenn die Fehlermeldungen gar nicht von Systemen stammen, welche die 1st-Level-Supporter zu betreuen haben, ist doch alles im Lack.
+ Ich finde KI-Gegnerschaft ist selbst zum Hype geworden. Gegen Lieferkettenrisiken wie bspw. (1) ist die Gefährdung der Unternehmenssicherheit durch KI eine Quantité négligeable.
–
(1) https://www.infoworld.com/article/4076668/self-propagating-worm-found-in-marketplaces-for-visual-studio-code-extensions.html
Es wäre ja schon viel gewonnen, wenn die AI-Enthusiasten und -Nutzer gelegentlich ein wenig Hirn einschalten und nicht alles kritiklos übernehmen würden.
Gerade zwei Analysen gelesen. Eine frei zugängliche Quelle finde ich ad-hoc nicht mehr (gibt den Artikel hier und hier): Botschaft der Analyse ist, dass die großen Techkonzerne ihre Investitionen in AI-Infrastruktur nicht aus den ausreichend vorhandenen Barmitteln bestreiten, sondern einen Großteil über Anleihen einwerben wollen – das Risiko für das Platzen der KI-Blase soll also ausgelagert werden.
Auf Focus Online findet sich gerade die Analyse Faule Kredite, Gier und Betrug: Die Weltwirtschaft steht kurz vor der nächsten Krise. wo ein kritischer Blick auf US-Banken geworfen und ein Vergleich mit 2008 getroffen wird. Und das sind nur Quellen, die den Finanzsektor betrachten und nicht auf Schäden durch verunglückte AI-Einsätze eingehen.
Sehr guter Beitrag! Ihre Aussage, dass die Kunden in ihren Produkten keine KI wollen, deckt sich zu 100% mit meinen Erfahrungen. Und das sind nicht nur diejenigen, die schon vorher keine Cloud wollten, sondern Cloud Begeisterte, die merken, dass die KI in der Cloud doppelt schlecht für die Datensicherheit und den Datenschutz ist, dass KI schon funktionierende Apps und Workflows willkürlich "anpasst", um beim Mutterkonzern noch mehr Lizenzgebühren zu kassieren. Nur irgendjemand muss es ja wollen, dass KI das Fachwissen schleichend ersetzt, dass KI eine andere KI aussperrt (Croudstrike letztes Jahr), etc. pp. Jeder halbwegs langfristig denkende und planende IT Betrieb sollte eine "duale Lösung" für oder wider KI langfristig anstreben, um auch die Kunden ohne KI Tools zu befriedigen. Das wird in Zukunft eine bedeutende Nische für IT Admins und deren Firmen sein, so meine Schlussfolgerung.
Ich würde das ganze im Support sogar umdrehen: Die Anwender / Kunden wollen nicht nur keine KI, sondern sie wollen gerne sogar deutlich mehr Mensch. Es ist ja keineswegs so, dass Support nicht auch schon vor KI an technische Systeme ausgelagert wurde.
Geschickt gespielt kann man das durchaus zu einem Konkurrenzvorteil machen.
Meiner Meinung nach sind die Vorbehalte gegen KI hier im Forum stärker ausgeprägt als im Rest der Bevölkerung. Sie wird bereitwillig angenommen, die (oft unsinnigen) Ergebnisse werden in die Welt getragen und als Lebenshilfe genutzt.
Die Akzeptanz wird unterschätzt.
Meines Erachtens ist das Verständnis dafür, wie KI arbeitet und wo ihre Grenzen sind (sie kann vorhandenes Wissen aggregieren, aber kein neues Wissen schaffen und damit auf falsches "Wissen" hereinfallen) hier im Forum stärker ausgeprägt als im Rest der Bevölkerung.
Was man nicht versteht hinterfragt man nicht sondern akzeptiert es.
Das ist in anderen Bereichen nicht anders. Bei Elektrotechnikern ist der Respekt vor den Gefahren elektrischer Energie größer ausgeprägt als beim Reste der Bevölkerung, bei Pharmazeuten vor Nebenwirkungen von Medikamenten …
"(sie [also die KI] kann vorhandenes Wissen aggregieren, aber kein neues Wissen schaffen und damit auf falsches "Wissen" hereinfallen)"
Es gibt außer in seltenen Fällen kein neues Wissen. Es gibt meistens nur die speziellen Fähigkeiten, Spezialwissen aus verschiedenen Bereichen zusammen zu bringen, und damit was neues zu Erschaffen.
Beispiel? Die Erfindung des Autos und Motorrades. Kutschen und Laufräder gab es schon vorher, Motoren waren gerade neu für stationäre Zwecke entwickelt. Und dann kommt da so ein Gottlieb Daimler und Karl Benz daher und kombiniert das miteinander. Und schon haben wir die vielleicht größte Erfindung der letzten 150 Jahre.
Und gerade in diesem Bereich ist KI sehr stark, weil sie Fachwissen aus allen Bereichen des Wissens der Menschheit hat, mehr als einzelne Menschen je haben können, und das alles miteinander kombinieren kann. Zumindestens in der Sprache. Daraus direkt technische Dinge zeichnen/konstruieren, das schafft so eine allgemeine KI wie ChatGPT noch nicht, aber das wird noch kommen.
Die seltenen Fälle, die ich oben ansprach, ist meistens wissenschaftliche Grundlagenforschung. Hier wird tatsächlich neues Wissen geschaffen.
Die Gefahr, die bleibt, ist das Halizionieren, wenn Wissen in notwendigen Bereichen fehlt.
siehe auch hier:
https://www.borncity.com/blog/diskussion-allgemeines/#comment-235682
>>> Wie verhindert ihr in der IT, dass der Anwender, der "sich vermeintlich selbst hilft", die Firma per KI um Hab und Daten bringt?
Wenn ein Anwender diese Rechte im System hat, braucht er dafür keine KI. Die KI macht das ganze vielleicht nur schneller. Und wenn er diese Rechte aus womöglich gutem Grund hat, wurde dieser Anwender hoffentlich sorgsam ausgewählt. Ein Anwender dem man nicht vertraut, denn sollte man nicht Einstellen.
Es ist also primär eine Vertrauensfrage wem man welche Zugriffe gewährt. Also nichts technisches.
Soweit wenn alles "normal" läuft und keiner Fehler macht.
Wenn es nicht normal läuft, wenn jemand Rechte hat die er gar nicht haben sollte aufgrund eines Fehlers etc. dann ist es auch kein KI Problem.
Ja ich weiß was du meinst, aber der Fehler sitzt in diesem Fall weiterhin vor dem Bildschirm. KI ist nur ein weiteres Werkzeug, das diese Fehler aufdeckt – vielleicht ein sehr effizientes Werkzeug um Fehler aufzudecken?
Das Problem erledigt sich von alleine, sobald Günter in Rente geht und seine Webseite genauso wie alle anderen ungeprüft von KI produziert wird. :)
Plot Twist: Die KI, die Günter schon mal für tot erklärte, hatte recht und den Laden längst übernommen ;)
Anruf von Verwandten.
Wo denn der Internet Explorer oder der Adobe PDF oder pdf24 sei.
Bitte was?
Er wolle ein PDF editieren.
? Er hat die KI gefragt die ihm diese Vorschläge gemacht hat.
Es fehlte eigentlich nur noch der Rat, einen 1024×768 er Bildschirm zu nutzen. Ich vermute diesen Tipp hatte er bereits umgesetzt und seinen Bildschirm entsprechend geteilt.
immerhin hat er nicht einfach das Zeug installiert, sondern nachgefragt.
Also doch noch Licht am Tunnel Ausgang?
> Wie verhindert ihr in der IT, dass der Anwender, der "sich vermeintlich selbst hilft", die Firma per KI um Hab und Daten bringt?
Das ist kein neues Phänomen. Das war auch zuvor der Fall meist mit Familienangehörigen oder Söhnen von Geschäftsführern, die in einem Unternehmen sich so toll und vor allem günstig um die IT (Werbung, Projekte etc.) kümmern können.
Aktuell habe ich wieder einen Fall, wo ein Junior-Geschäftsführer meint, mit einem ehm. IT Werksstudenten, den er als Admin übernommen hat und mit Hilfe von ChatGPT allein seine IT wuppen zu können.
Viel Erfolg sage ich da und lehne mich mit Popcorn zurück und sehe aus sicherer Entfernung zu, wie das Unheil sich langsam aber sicher entfaltet.
ChatGPT und Copilot sind nur Katalysatoren und beschleunigen alles.
Just gestern lief über den Ticker eine Studie, dass die meisten Unternehmen, die Layoffs aufgrund angeblicher Vorteile durch KI vorgenommen haben, diese im Nachhinein wieder einstellen mussten. Das dann still und heimlich.
Das klappt bei Externen nur bedingt, da die Konditionen dann anders sind und in meinem Falle ich dann längst wieder in anderen Projekten/ Kunden involviert bin, und ehrlich gesagt auch nicht gerade die höchste Motivation habe, für so einen wieder tätig werden zu wollen.
********************************************
Just gestern lief über den Ticker eine Studie, dass die meisten Unternehmen, die Layoffs aufgrund angeblicher Vorteile durch KI vorgenommen haben, diese im Nachhinein wieder einstellen mussten. Das dann still und heimlich.
*******************************************
Dann aber auch korrekt wiedergeben… die haben eben (meistens) nicht die alten Leute still und heimlich wieder eingestellt, sondern neue billiger Arbeiter bevorzugt im Billiglohnland.
Da fragt man sich eher wollte man da ohne großen Wderstand teure Mitarbeiter loswerden? Arbeitsplatz wegrationalisiert spart einiges an Abfindungen gegenüber normalen Kündigungen. Da kommt KI gerade recht ;-P
b2t: ich nutze in der Firma schon keine Cloud sondern alles OnPrem… KI kommt da gar nicht erst rein und wer das meint an der Anordnung vorbei zu machen… naja der arbeitet da nicht mehr lange für mich!
Hab das vor zwei Wochen gelesen – steckt beim mir noch auf Halde, um es gelegentlich zu thematisieren. Das ist alles eine äußerst ungute Entwicklung – auch dass junge IT-Absolventen in den USA Schwierigkeiten haben, einen Job zu finden. Da werden jetzt Schweinezyklen angeheizt, die der Digitalisierungsbranche arg auf die Füße fallen werden.
Hier in der Firma ist auch alles On-Prem.
Und die Geschäftsleitung ist da ganz auf meiner Linie und würde wohl ziemlich sauer reagieren, wenn da jemand mit Cloud oder KI um die Ecke käme.
Bzgl. KI ein kleiner Splitter:
Bei Microsoft gibt es eine Umfrage, ob man denn KI-Funktionen aka Copilot im On-Prem Exchange SE haben will.
https://forms.office.com/r/DwAKJLSJV1
Da sollte man dran teilnehmen und die KI-Hirngespinste von Microsoft gleich als unerwünscht bewerten.
Auch die Kommentare zur Umfrage sind entsprechend: Copilot in Exchange ist eher unerwünscht:
https://techcommunity.microsoft.com/blog/exchange/interest-survey-copilot-for-exchange-server-on-premises/4463515
Naja, kommt darauf an. Neuronale Netze sind statistische Modelle und die LLMs sind auf Glaubwürdigkeit optimiert, nicht auf Wahrheit. Daß man damit eher Müll rausbekommt, wenn man sich einen Quellcode generieren läßt – normal. Gut klappt unsicherheitsbehaftete Klassifizierung (also irgendwas erkennen) und die Lösung von Glaubwürdigkeitsproblemen, z.B. ad-hoc-Videogenerierung.
Sehr schräges Weltbild. Der Programmierer soll also auf ein Hilfsmittel verzichten. Ist ja schon fast so wie der Versuch ihm zu verbieten auf eine Schulung zu gehen weil er dort über seine Fachprobleme reden könnte.
Als ob das Problem von schlechten Programmcode neu wäre? Junge unerfahrene Programmierer gibt es schon ewig und schlechten Code noch länger.
Reflexartig zu vermuten dass es eine unerwünschte Schatten IT sei, ein Verbot notwendig sei, und sowieso nichts sinnvolles dabei rauskommt… ist typisch Deutsch.
Heute hat Meta angekündigt 600Mrd investieren zu wollen. Wenn die Wette aufgeht, spielen die typisch deutsches Befürchtungen keine Rolle mehr, weil dann Software nicht mehr in der EU stattfindet.
Sollen die 600 Mrd ausgeben.
Das Geld haben die nämlich nicht und müssen es sich irgendwo besorgen.
Und wenn die KI-Blase platzt, ist Meta Geschichte, weil die die 600 Mrd nicht zurückzahlen können.
Und was den schlechten Programmcode angeht:
Ja, das ist neu, denn früher hat man sich gefragt, woher der schlechte Code denn kommt und dann der Jungprogrammierer an die Hand genommen und man hat ihm gezeigt, wie es besser geht.
Heute bei KI-generiertem Code wird zwar u.U. auch gefragt, woher der kommt, aber sobald das Wort KI fällt, wird das meist so hingenommen, die KI kann ja nicht irren.
Es gibt genug Leute, die der KI blind vertrauen und nichts hinterfragen.
Und das ist gefährlich!
Beispielsweise in den USA und kürzlich auch in Österreich haben Anwälte KI zu Rate gezogen und dann das, was sie von der KI präsentiert bekommen haben, vor Gericht vorgelegt.
Das ist den Anwälten mächtig um die Ohren geflogen, denn alles, was die von der KI präsentiert bekamen, war falsch und von der KI erfunden. Aktenzeichen, Fälle vor Gericht, Urteile, etc. etc., alles erfunden!
Oder die immer häufiger werdenden Probleme bzgl. Sicherheitslücken und Programmfehlern.
Sieht man jeden Monat bei Updates für Windows 11.
So viele Bugs und Lücken in einem Update hat es selbst bei Windows 10 nie gegeben. Das "Safeguard hold" gabs vor Windows 11 nicht, weil es da einfach nicht nötig war!