Conversational Analytics

Was Generative KI bei Datenanalysen leisten kann – und wo sie an Grenzen stößt

Generative KI kann die Analyse größerer Datenbestände erheblich beschleunigen. Sie ist aber kein Ersatz für eine saubere Aufgabenabgrenzung, eine belastbare Datengrundlage und eine nachvollziehbare Qualitätssicherung.

Das zeigt ein Praxisbeispiel aus dem RZzKI: Rund 1.000 bekannte Unternehmen sollten einer Branche zugeordnet werden, um die Kunden- und Zielgruppe besser zu verstehen. Der Versuch macht deutlich, warum webbasierte Chatbots für den Einstieg nützlich sind, bei größeren Datenanalysen aber schnell an Grenzen stoßen – und warum programmiernahe KI-Werkzeuge mehr Kontrolle, aber auch mehr Verantwortung verlangen.

Vor dem Einsatz zählen fünf Leitfragen

Vor dem Einsatz eines KI-Werkzeugs sollte nicht nur gefragt werden, ob die Technik etwas grundsätzlich kann. Entscheidend ist, ob sie für die konkrete Aufgabe geeignet ist, welche Daten verarbeitet werden dürfen, welches Werkzeug zum Arbeitsprozess passt, welche Kosten und Nutzungslimits zu erwarten sind und wie die Ergebnisse überprüft werden.

Ist Generative KI für diese Aufgabe tatsächlich das richtige Mittel?
Welche Daten dürfen verarbeitet werden, und welche Daten müssen ausgeschlossen oder anonymisiert werden?
Reicht ein Chatbot mit Web-Oberfläche, oder braucht es ein Werkzeug mit direktem Zugriff auf Dateien und Code?
Welche Kosten entstehen durch Abonnement, API-Nutzung, Webrecherche, Wiederholungen und Wartezeiten?
Wie wird geprüft, ob die Ergebnisse fachlich plausibel und für den Zweck belastbar sind?

Diese Fragen begleiten den gesamten Prozess. Sie lassen sich nicht erst am Ende durch das Ergebnis beantworten. Ein kleiner Pilotlauf mit einer begrenzten Datenmenge hilft, Aufwand, Fehlerbilder und Prüfbedarf früh sichtbar zu machen.

Das Beispiel: 1.000 Unternehmen klassifizieren

Die Ausgangsaufgabe war fachlich einfach zu beschreiben: Bekannte Unternehmensnamen sollten anhand öffentlich recherchierbarer Informationen Branchen zugeordnet werden. Klassisch wäre dies eine manuelle Rechercheaufgabe: Unternehmenswebseite finden, Tätigkeit verstehen, passende Branche bestimmen und die Zuordnung dokumentieren. Bei rund 1.000 Unternehmen wird daraus schnell eine monotone und zeitintensive Arbeit.

Für Generative KI ist die Aufgabe naheliegend, weil sie Textinformationen auswerten, Begründungen formulieren und Zwischenergebnisse strukturieren kann. Gleichzeitig ist die Aufgabe nicht trivial: Firmennamen sind oft mehrdeutig, Webseiten enthalten unterschiedlich viel Information, und eine brauchbare Auswertung braucht eine konsistente Klassifikation. Als Orientierung eignet sich etwa die Klassifikation der Wirtschaftszweige WZ 2008 des Statistischen Bundesamtes, sofern die Kategorien für den konkreten Auswertungszweck passend verdichtet werden.

Auch beim Datenschutz ist eine pauschale Aussage nicht sinnvoll. Im Beispiel wurden bekannte Unternehmensnamen ohne Bezug zum Projektkontext genutzt. Ob eine Verarbeitung zulässig ist, hängt aber immer vom konkreten Datensatz, vom Zweck, von möglichen Personenbezügen, von Vertraulichkeitsinteressen und von den vertraglichen sowie technischen Schutzmaßnahmen des eingesetzten Dienstes ab. Aussagen eines Anbieters zu EU-Hosting, Sicherheitszertifizierungen oder DSGVO-Ausrichtung ersetzen diese Prüfung nicht.

Der Web-Chatbot eignet sich gut für den Einstieg

Im ersten Lösungsweg wurde ein webbasierter Chatbot genutzt. Der Vorteil dieses Ansatzes liegt in der niedrigen Einstiegshürde: Eine CSV-Datei kann hochgeladen, die Spalten können sprachlich erklärt und die gewünschte Ausgabe kann direkt im Dialog beschrieben werden. Für Stichproben, erste Klassifikationsideen und die Prüfung einzelner Unternehmen ist das hilfreich.

Die Grenzen zeigten sich jedoch schon nach den ersten Durchläufen. Der Chatbot schlug vor, die Liste in kleinere Batches aufzuteilen, um lange Antwortzeiten, Timeouts und Dateiprobleme zu vermeiden. In der ersten Ergebnisdatei wurden viele Unternehmen nur allgemein als ‚Unternehmen‘ oder als ‚unklar‘ klassifiziert. Erst auf Nachfrage wurde deutlich, dass zunächst eine sehr einfache Heuristik verwendet worden war, um viele Modellaufrufe und damit Aufwand zu vermeiden.

Chat Ausschnitt — Abbildung 1. Chat-Ausschnitt aus dem webbasierten Lösungsweg: Die KI erklärt, warum zunächst nur eine einfache Heuristik genutzt wurde.

Damit wurde das eigentliche Problem sichtbar: Der Dialog vermittelte zwar den Eindruck eines schrittweisen Analyseprozesses, der Prozess selbst blieb aber schwer kontrollierbar. Regeln wurden während der Bearbeitung nachgeschärft, Ergebnisse mussten wiederholt manuell geprüft werden, und nach jedem Paket war erneut Interaktion erforderlich. Der Ansatz war deshalb gut, um das Vorgehen zu erkunden, aber nur eingeschränkt geeignet, um 1.000 Einträge verlässlich und reproduzierbar zu verarbeiten.

Programmiernahe Assistenten machen den Prozess nachvollziehbarer

Im zweiten Lösungsweg wurde ein programmiernaher KI-Assistent eingesetzt, der direkt in einer Kommandozeilen- und Entwicklungsumgebung arbeitet. Ein solches Werkzeug kann Dateien lokal lesen, Python-Code erzeugen, diesen ausführen und die Ergebnisse wieder in CSV-Dateien schreiben. Dadurch verschiebt sich der Schwerpunkt: Statt einzelne Chat-Antworten zu kopieren, entsteht ein bearbeitbarer Analyseprozess.

Das war für die Unternehmensklassifizierung entscheidend. Die Branchenlogik konnte in Code festgehalten, erweitert und wiederholt ausgeführt werden. Unklare Fälle wurden in einem zweiten Schritt mit Webrecherche nachbearbeitet. Die Ergebnisse ließen sich in Confidence-Kategorien zusammenfassen und stichprobenartig prüfen. Damit wurde die Arbeit schneller und besser nachvollziehbar als im reinen Web-Dialog.

Der Vorteil hat allerdings seinen Preis. Wer einem KI-Assistenten direkten Zugriff auf Dateien ermöglicht, braucht klare Grenzen: Arbeitskopien statt Originaldateien, Versionskontrolle, möglichst isolierte Arbeitsumgebungen, explizite Freigaben für riskante Aktionen und eine Prüfung, ob sensible oder personenbezogene Daten verarbeitet werden. Für Unternehmen ist das nicht nur eine technische, sondern auch eine organisatorische Frage.

Ergebnisausgabe von Claude — Abbildung 2. Ergebnisausgabe aus dem programmiernahen Ansatz mit Confidence-Verteilung und Hinweisen zur Nachbearbeitung.

Kosten entstehen nicht nur durch das Abonnement

Die Kostenfrage lässt sich nicht seriös mit einem einzelnen Betrag beantworten. Im konkreten Test entstanden Kosten im Rahmen des genutzten Abonnements; bei intensiverer oder API-basierter Nutzung können zusätzliche nutzungsabhängige Kosten entstehen. Entscheidend sind vor allem Datenmenge, Modellwahl, Zahl der Wiederholungen, Umfang der Webrecherche und die Frage, ob Nutzungslimits den Arbeitsfluss unterbrechen.

Sinnvoll ist daher eine Vorab-Kalkulation über einen Pilotlauf: zunächst 50 bis 100 Einträge klassifizieren, Token- oder Nutzungsumfang abschätzen, Fehlerquoten erfassen und dann auf den Gesamtbestand hochrechnen. So wird sichtbar, ob ein Chat-Abo reicht, ob ein höheres Abo, Nutzungsguthaben oder API-Budget benötigt wird und ob der erwartete Zeitgewinn den Aufwand rechtfertigt.

Geschätzter Token Verbrauch von Claude — Abbildung 3. Interne Schätzung des Token-Verbrauchs im Beispiel; solche Werte eignen sich vor allem zur Budgetorientierung.

Vertrauen entsteht durch Prüfung, nicht durch die Antwort der KI

Bei Klassifikationsaufgaben ist ein plausibel klingendes Ergebnis noch kein belastbares Ergebnis. Unternehmen sollten deshalb vorab festlegen, wie sie prüfen: etwa durch Stichproben je Branche, gezielte Kontrolle aller niedrigen Confidence-Werte, Vergleich mit bekannten Referenzfällen und Dokumentation der verwendeten Regeln. Besonders wichtig sind Grenzfälle, in denen ein Unternehmen mehreren Branchen zugeordnet werden könnte.

Generative KI kann diese Prüfung vorbereiten, aber nicht ersetzen. Sie kann Begründungen liefern, auffällige Fälle markieren oder Kontrolllisten erzeugen. Die fachliche Entscheidung bleibt bei den Verantwortlichen. Das gilt umso mehr, wenn die Ergebnisse später für Berichte, Förderlogik, Marktanalysen oder strategische Entscheidungen genutzt werden.

Werkzeugnutzung im Vergleich

Webbasierter Chatbot ohne direkten Dateizugriff

Programmiernaher Assistent mit direktem Dateizugriff

Stärken: niedrige Einstiegshürde, gute Exploration, saubere Trennung vom lokalen Dateisystem.

Grenzen: Upload- und Download-Schleifen, Batch-Zerlegung, schwer reproduzierbare Zwischenschritte, begrenzte Kontrolle über Heuristiken.

Datenschutz: Anbieterangaben und Vertragslage prüfen; keine pauschale Aussage aus der Toolbeschreibung ableiten.

Stärken: schnellere Verarbeitung, wiederholbarer Code, direkte Arbeit mit CSV-Dateien, bessere Dokumentation der Regeln.

Grenzen: Basiskenntnisse in Softwareentwicklung erforderlich; Fehler im Code oder in Dateizugriffen können unmittelbare Folgen haben.

Datenschutz: Zugriffe begrenzen, Arbeitskopien nutzen, sensible Daten ausschließen oder separat freigeben lassen.

Fazit: KI kann Datenarbeit beschleunigen, braucht aber Prozessdisziplin

Das Beispiel zeigt: Generative KI ist für datenbezogene Routineaufgaben geeignet, wenn die Aufgabe klar begrenzt ist und die Ergebnisse überprüft werden können. Für eine schnelle Exploration reicht ein Web-Chatbot oft aus. Für größere Datenbestände ist ein programmiernaher Ansatz meist stärker, weil Regeln, Zwischenschritte und Ergebnisse reproduzierbar werden.

Die zentrale Entscheidung ist daher nicht ‚KI oder keine KI‘, sondern die passende Kombination aus Datenfreigabe, Werkzeug, Budget, technischer Kontrolle und Qualitätssicherung. Wer diese Punkte vorab klärt und mit einem kleinen Pilotlauf beginnt, kann den Nutzen realistischer einschätzen und vermeidet, dass Kosten, Datenschutzfragen oder unklare Ergebnisse erst am Ende des Projekts sichtbar werden.