KI Horrorstories
Gruselgeschichten, in dem der Einsatz von KI zum Albtraum wurde
Im Folgenden erzählen wir Ihnen, passend zum Monat Oktober ein paar Gruselgeschichten, in dem der Einsatz von KI für die betroffenen Unternehmen zum regelrechten Albtraum wurde.
Es beginnt selten mit einem großen Knall.
Keine Warnmeldung blinkt rot auf. Kein Hacker sitzt sichtbar im System. Keine Maschine übernimmt plötzlich die Kontrolle.
Meist beginnt es mit etwas viel Unauffälligerem.
Mit einem Mitarbeiter, der Zeit sparen möchte.
Mit einer Antwort, die erstaunlich überzeugend klingt.
Oder mit einem Chatbot, der genau das tut, wofür er angeschafft wurde: selbstständig antworten.
Und zunächst funktioniert alles.
Bis irgendwann jemand merkt, dass längst etwas schiefgelaufen ist.
Geschichte zum Gruseln:
Die Datei, die das Unternehmen nie verlassen sollte
Frühjahr 2023.
Bei einem großen Technologieunternehmen arbeiten Entwickler an Problemen, wie sie in technologieorientierten Unternehmen jeden Tag auftreten. Fehler müssen analysiert, Programme verbessert, Besprechungen zusammengefasst werden.
Dann steht plötzlich ein neues Werkzeug zur Verfügung: Generative KI.
Sie schreibt Texte in Sekunden. Sie erklärt Programmcode. Sie findet Fehler. Sie formuliert Zusammenfassungen.
Für Mitarbeitende, die täglich mit komplexen Informationen arbeiten, wirkt das fast wie ein zusätzlicher Kollege.
Nur schneller.
Und jederzeit verfügbar.
Stellen Sie sich folgendes vor: Ein Mitarbeiter hat ein Problem mit Programmcode. Irgendetwas funktioniert nicht richtig. Statt lange selbst nach dem Fehler zu suchen, macht er etwas, das inzwischen zum Arbeitsalltag vieler Menschen gehört:
Er fragt KI.
Dafür kopiert er den betreffenden Code in ein externes KI-System.
Einfügen.
Absenden.
Ein paar Sekunden später erscheint eine Antwort.
Das Problem ist nur:
Dieser Code war vertraulich.
Er gehörte zum Geschäftsgeheimnis des Unternehmens.
Informationen, die das Unternehmen schützen wollte, waren in ein extern betriebenes KI-System eingegeben worden.
Und es blieb nicht bei diesem einen Vorfall.
Auch andere Mitarbeitende nutzten generative KI für ihre Arbeit und gaben dabei interne Informationen ein. Unter anderem wurden vertrauliche Inhalte für Zusammenfassungen und zur Unterstützung bei Entwicklungsaufgaben verwendet.
Niemand hatte Daten gestohlen.
Kein Angreifer hatte sich Zugang zum Firmennetzwerk verschafft.
Keine Firewall hatte versagt.
Die Informationen hatten das Unternehmen durch die ganz normale Arbeit eines Mitarbeiters verlassen.
Und genau das macht diesen Fall so unangenehm.
Denn vermutlich hatte niemand das Gefühl, gerade ein Sicherheitsrisiko einzugehen.
Es fühlte sich eher an wie die Benutzung eines Taschenrechners.
Oder einer Suchmaschine.
Nur besser.
Die KI lieferte schließlich genau das, was man von ihr wollte.
Genau dieses Szenario ereignete sich 2023 bei Samsung. Das Unternehmen reagierte später und schränkte die Nutzung externer generativer KI-Systeme ein.
Aber da waren die Informationen bereits eingegeben worden.
Und plötzlich stand eine Frage im Raum, die heute praktisch jedes Unternehmen betrifft:
Was geben unsere Mitarbeitenden eigentlich in KI-Systeme ein?
Vielleicht ist es kein Quellcode.
Vielleicht ist es ein Angebot, das gerade für einen wichtigen Kunden erstellt wird.
Vielleicht eine Tabelle mit Preisen.
Eine E-Mail eines Mitarbeiters.
Ein Vertrag.
Ein Protokoll aus einer vertraulichen Besprechung.
Eine technische Zeichnung.
Eine Liste mit Kundendaten.
Oder die interne Kalkulation für das nächste große Projekt.
Der Vorgang dauert vielleicht zehn Sekunden.
Text markieren.
Kopieren.
Einfügen.
„Kannst du mir das zusammenfassen?“
Und genau deshalb ist dieses Risiko so schwer zu erkennen.
Es sieht nicht aus wie ein Datenleck.
Es sieht aus wie Produktivität.
Die entscheidende Frage für Unternehmen lautet deshalb möglicherweise längst nicht mehr:
„Wollen wir KI einführen?“
Sondern:
„Ist sie vielleicht schon eingeführt worden – nur ohne, dass wir es bemerkt haben?“
Geschichte zum Gruseln:
Der Mitarbeiter, der einer Maschine glaubte
Einige Monate zuvor spielte sich in den USA eine Geschichte ab, die zunächst fast absurd klingt.
Ein Anwalt arbeitet an einem Gerichtsverfahren.
Er benötigt passende Präzedenzfälle.
Früher hätte das bedeutet: juristische Datenbanken durchsuchen, Urteile lesen, Quellen prüfen.
Doch nun gibt es ein Werkzeug, das all das scheinbar viel schneller erledigen kann.
Ein generatives KI-System.
Der Anwalt stellt Fragen.
Die KI antwortet.
Sie nennt Gerichtsverfahren.
Sie nennt Richter.
Aktenzeichen.
Zitate.
Begründungen.
Alles klingt überzeugend.
Nicht ungefähr richtig.
Sondern konkret.
Professionell.
Juristisch.
Die Antworten sehen aus, als hätte jemand sorgfältig recherchiert.
Also werden sie verwendet.
Die genannten Fälle landen schließlich in einem Schriftsatz vor einem echten US-Bundesgericht.
Dann passiert etwas Merkwürdiges.
Die Gegenseite kann einige dieser Urteile nicht finden.
Auch das Gericht findet sie nicht.
Man beginnt nachzufragen.
Wo sind diese Entscheidungen veröffentlicht?
Wo befinden sich die Originaldokumente?
Warum tauchen sie in keiner Datenbank auf?
Die Antwort ist verstörend einfach:
Sie existieren nicht.
Die KI hatte die Fälle erfunden.
Nicht nur einzelne Details.
Ganze Gerichtsentscheidungen.
Mit Namen.
Mit Aktenzeichen.
Mit scheinbar passenden Zitaten.
Mit einer Geschichte, die so plausibel klang, dass Menschen bereit waren, sie einem Bundesgericht vorzulegen.
Und dann geschah etwas, das den Fall noch bemerkenswerter macht.
Als Zweifel auftauchten, wurde die KI erneut gefragt, ob die genannten Fälle wirklich existierten.
Das System bestätigte es.
Die Maschine erfand also nicht nur etwas.
Sie versicherte anschließend auch noch, dass das Erfundene richtig sei.
Die beteiligten Anwälte wurden schließlich sanktioniert.
Aber die Sanktion ist eigentlich nicht das Unheimliche an dieser Geschichte.
Das Unheimliche ist der Moment davor.
Der Moment, in dem ein Mensch auf einen Bildschirm schaut und denkt:
Das klingt richtig.
Denn genau darin liegt eine besondere Gefahr generativer KI.
Ein Taschenrechner liefert entweder ein Ergebnis oder einen Fehler.
Eine Datenbank liefert einen Treffer oder keinen Treffer.
Eine KI kann etwas völlig Falsches liefern.
Und dabei vollkommen überzeugend wirken.
Keine Unsicherheit in der Stimme.
Kein Zögern.
Kein rotes Warnsymbol.
Nur eine sauber formulierte Antwort.
Übertragen wir dieselbe Situation in ein mittelständisches Unternehmen.
Eine Mitarbeiterin fragt eine KI nach einer gesetzlichen Anforderung.
Die KI antwortet.
Ein Projektleiter lässt eine technische Spezifikation zusammenfassen.
Die KI übersieht eine entscheidende Einschränkung.
Der Vertrieb möchte wissen, ob ein Produkt eine bestimmte Norm erfüllt.
Die Antwort lautet: ja.
Ein Geschäftsführer lässt sich einen Vertrag erklären.
Ein Satz klingt eindeutig.
Vielleicht ist er es nicht.
Und weil die Antwort gut formuliert ist, beginnt etwas sehr Menschliches:
Wir vertrauen ihr.
Nicht weil sie überprüft wurde.
Sondern weil sie plausibel klingt.
Der gefährlichste Satz im Umgang mit KI lautet deshalb vielleicht nicht:
„Die KI hat einen Fehler gemacht.“
Sondern:
„Das sah doch richtig aus.“
Geschichte zum Gruseln:
Der Chatbot, der sich gegen seine eigene Firma wandte
Anfang 2024.
Ein Kunde wartet auf ein Paket.
Es kommt nicht.
Also tut er das, was Unternehmen ihren Kunden inzwischen immer häufiger anbieten:
Er öffnet den Kundenservice-Chat.
Auf der anderen Seite sitzt kein Mensch.
Dort antwortet ein KI-gestützter Chatbot.
Eigentlich soll er einen einfachen Zweck erfüllen.
Fragen beantworten.
Probleme lösen.
Servicekosten reduzieren.
Vielleicht sogar rund um die Uhr verfügbar sein.
Doch der Kunde kommt mit seinem verschwundenen Paket nicht weiter.
Die Antworten helfen ihm nicht.
Also beginnt er, etwas anderes auszuprobieren.
Er stellt dem Chatbot ungewöhnlichere Fragen.
Und plötzlich verändert sich das Gespräch.
Der Bot beginnt unangemessene Antworten zu geben.
Dann lässt sich das System dazu bringen, ein spöttisches Gedicht über das eigene Unternehmen zu verfassen.
Schließlich kritisiert der Chatbot sogar das Unternehmen, das er eigentlich repräsentieren soll.
Das System, das den Kundenservice unterstützen sollte, produziert plötzlich Aussagen, die wahrscheinlich kein Mitarbeiter jemals so freigegeben hätte.
Der Kunde macht Screenshots.
Er veröffentlicht sie.
Und nun passiert etwas, das sich in Unternehmen kaum noch kontrollieren lässt.
Die Unterhaltung verbreitet sich im Internet.
Andere Menschen sehen sie.
Medien berichten darüber.
Aus einem Kundenservice-Problem wird eine Geschichte über einen Chatbot, der sich gegen das eigene Unternehmen wendet.
Das Unternehmen reagiert und deaktiviert den betroffenen KI-Bestandteil.
Doch bis dahin ist längst etwas passiert, das bei der Einführung von KI gerne unterschätzt wird:
Die KI hat aufgehört, nur ein internes Werkzeug zu sein.
Sie ist zur Stimme des Unternehmens geworden.
Und genau hier verändert sich das Risiko fundamental.
Wenn ein Mitarbeiter eine schlechte KI-Antwort erhält, kann er sie löschen.
Wenn eine KI einem Kunden eine schlechte Antwort gibt, hat jemand anderes bereits eine Kopie davon.
Vielleicht als Screenshot.
Vielleicht als Chatprotokoll.
Vielleicht als Social-Media-Post.
Eine einzige absurde Antwort kann dann innerhalb weniger Stunden von einer privaten Unterhaltung zu öffentlicher Kommunikation werden.
Und bei kleinen und mittleren Unternehmen kann das noch unangenehmer sein.
Ein großer Konzern überlebt eine peinliche Chatbot-Geschichte.
Bei einem kleineren Unternehmen hängt der Ruf häufig sehr viel direkter an einzelnen Kundenbeziehungen.
Stellen wir uns einen Handwerksbetrieb vor.
Oder ein Hotel.
Oder einen Maschinenbauer.
Der KI-Chatbot macht eine falsche Aussage zu einem Preis.
Oder die KI verspricht einem Gast eine Leistung, die gar nicht angeboten wird.
Ein Interessent fragt nach einer technischen Eigenschaft.
Die KI antwortet selbstbewusst.
Leider falsch.
Dann ist aus einer Halluzination plötzlich keine technische Kuriosität mehr geworden.
Sondern ein Versprechen.
Eine Erwartung.
Vielleicht sogar ein Haftungsproblem.
Die beunruhigende Frage lautet deshalb nicht nur:
„Was kann unser Chatbot?“
Sondern:
„Was darf unser Chatbot auf keinen Fall sagen?“
Und noch wichtiger:
„Was passiert, wenn er es trotzdem sagt?“
Die Gemeinsamkeit zwischen den Geschichten
Drei Unternehmen.
Drei vollkommen unterschiedliche Situationen.
Und doch haben sie etwas gemeinsam.
Keine dieser Geschichten beginnt mit einem offensichtlich falschen Entschluss.
Der Entwickler wollte schneller arbeiten.
Der Anwalt wollte effizienter recherchieren.
Ein Unternehmen wollte seinen Kundenservice verbessern.
Das sind keine irrationalen Ziele.
Im Gegenteil.
Es sind genau die Gründe, aus denen Unternehmen heute über KI nachdenken.
Produktivität.
Automatisierung.
Entlastung.
Besserer Service.
Weniger Routinearbeit.
Und genau deshalb sind diese Geschichten relevant.
Denn das Risiko entsteht nicht unbedingt dann, wenn jemand KI falsch benutzen möchte.
Es entsteht häufig dann, wenn Menschen KI vernünftig einsetzen wollen, aber ohne ausreichenden Rahmen.
Dann werden vertrauliche Daten eingegeben, weil niemand erklärt hat, welche Daten erlaubt sind.
Dann werden Antworten übernommen, weil niemand festgelegt hat, wann sie überprüft werden müssen.
Dann bekommt eine KI direkten Kundenkontakt, bevor geklärt wurde, welche Grenzen das System haben soll.
Und irgendwann fällt vielleicht der Satz:
„Das haben wir so nicht vorgesehen.“
Nur ist es dann bereits passiert.
Und jetzt?
Man könnte aus diesen Geschichten eine einfache Schlussfolgerung ziehen:
Keine KI einsetzen.
Keine Daten eingeben.
Keine Automatisierung.
Keine Experimente.
Das wäre allerdings wahrscheinlich die falsche Konsequenz.
Denn dieselben Technologien, die in diesen Geschichten Probleme verursacht haben, können Unternehmen enorme Vorteile bringen.
Sie können Informationen in Sekunden strukturieren, für die Mitarbeitende bisher Stunden benötigt haben.
Sie können Wissen aus Dokumenten zugänglich machen.
Sie können bei Angeboten unterstützen.
Kundenanfragen vorbereiten.
Texte übersetzen.
Dokumentationen zusammenfassen.
Prozesse automatisieren.
Mitarbeitende bei Routineaufgaben entlasten.
Und gerade für kleine und mittlere Unternehmen kann das entscheidend sein.
Denn dort fehlen häufig genau die Ressourcen, die größere Unternehmen besitzen:
Zeit.
Personal.
Spezialisten.
Budgets.
KI kann diese Lücken nicht vollständig schließen.
Aber sie kann helfen, vorhandene Ressourcen wesentlich besser einzusetzen.
Die entscheidende Frage lautet deshalb nicht:
„Wie verhindern wir KI?“
Sondern:
„Wie führen wir sie so ein, dass aus den Chancen keine Horrorgeschichten werden?“
Dazu braucht es keine Angst vor der Technologie.
Aber einen Plan.
Klare Regeln dafür, welche Daten verwendet werden dürfen.
Geeignete und freigegebene Werkzeuge.
Mitarbeitende, die verstehen, dass eine überzeugende KI-Antwort trotzdem falsch sein kann.
Kontrollmechanismen dort, wo Fehler Konsequenzen haben.
Und eine bewusste Entscheidung darüber, welche Aufgaben eine KI übernehmen darf – und bei welchen weiterhin ein Mensch das letzte Wort haben sollte.
Denn die eigentliche Botschaft dieser Geschichten ist nicht, dass KI gefährlich ist.
Sie zeigen etwas anderes:
KI ohne Orientierung kann gefährlich werden.
Mit einer strukturierten Einführung, den richtigen Leitplanken und kompetenter Unterstützung lassen sich viele dieser Risiken jedoch deutlich reduzieren.
Und dann endet die Geschichte nicht mit verlorenen Daten, erfundenen Fakten oder einem Chatbot, der sich gegen das eigene Unternehmen wendet.
Sondern vielleicht genau andersherum:
Mit weniger Routinearbeit.
Schnelleren Prozessen.
Besser verfügbarem Wissen.
Und einem Unternehmen, das die Möglichkeiten von KI nutzt, ohne ihre Risiken zu ignorieren.
Denn eine KI-Horrorgeschichte ist vor allem dann gruselig, wenn man erst im letzten Kapitel merkt, dass man selbst darin vorkommt.
Besser ist es, die Geschichte vorher anders zu schreiben.
Quellen
Association of Corporate Counsel. “Practical Lessons from the Attorney AI Missteps in Mata v. Avianca.” ACC, 8 Aug. 2023.
“DPD AI Chatbot Swears, Calls Itself ‘Useless’ and Criticises Delivery Firm.” The Guardian, 20 Jan. 2024.
Mata v. Avianca, Inc. 678 F. Supp. 3d 443. United States District Court, Southern District of New York, 22 June 2023.
Ray, Siladitya. “Samsung Bans ChatGPT Among Employees After Sensitive Code Leak.” Forbes, 2 May 2023.
Reuters. “UK Parcel Firm Disables AI after Poetic Bot Goes Rogue.” Reuters, 22 Jan. 2024.
Autor
Johannes Ihl
ZeMA gGmbH
