Wo ChatGPT mir nicht helfen konnte

Recherchen, Testings und Insights sind unerlässlich für die Arbeit von Content Strateg:innen. Keine Strategie und keine Umsetzung ohne dazugehörige Analysen. Dieses Dreiergespann hat sich für mich schon im letzten Jahr als „Content Strategie-Trio“ heraus kristallisiert.

Im Rahmen des FITINN-Gewinnspiels wollten wir die Meinung der Mitglieder kennenlernen und haben dafür Fragen zu unterschiedlichsten Themen auf den Weg geschickt. Woche für Woche konnten wir neue Erkenntnisse gewinnen – sofern die Antworten korrekt ausgewertet wurden.

Umfragen: Arten der Antworten & Auswertungsmöglichkeiten

In den sieben Wochen haben wir auf diese Antwortmöglichkeiten zurückgegriffen:

Die ersten drei sind für Excel-Pros keine echte Herausforderung: Summen bilden, den Mittelwert ausrechnen, Anteile berechnen – das lässt sich einfach machen.

Doch sobald es um die Auswertung von qualitativen Antworten in Form von geschriebenem Text geht, wird es komplexer. Auf eine einzige Frage hatten wir etwa 12.314 Reaktionen erhalten. Wer soll sich das durchlesen und es korrekt bewerten?

Umfrageauswertung mit ChatGPT

Zum Glück haben wir die Künstliche Intelligenz – darauf wollte ich zurückgreifen, bin jedoch mit dem Ergebnis keinesfalls zufrieden. ChatGPT hatte ordentliche Probleme, die vorhandenen Daten zu bewerten und auszuwerten. Hier folgen fünf der größten Fails.

Hinweis: Für diesen Anwendungsfall habe ich die neueste Version von ChatGPT in der Plus-Variante genutzt. Ich wollte damit verhindern, dass die Daten von der KI weiter genutzt werden.

Fail 1: Daten konnten nicht verarbeitet werden

Selbst in der Bezahl-Version ist ChatGPT nicht fehlerfrei. In einem der Fälle konnten die Informationen nicht weiterverarbeitet werden – dabei habe ich die Infos sogar mehrmals und in unterschiedlichsten Formaten hochgeladen.

Schlussendlich hat mir die Künstliche Intelligenz empfohlen, bei der Auswertung doch auf Excel zurückzugreifen.

Fail 2: Inhalte wurden falsch interpretiert

ChatGPT hatte selbst vorgeschlagen, die Antworten in die Kategorien „Kritik“ und „Lob“ einzuteilen. Die ersten Stichproben dieser Einteilung haben mich keinesfalls überzeugt. Kritik – selbst konstruktive – wurde nicht zuverlässig als solche erkannt. Lob erkannte die KI nur, wenn Worte wie „gut“ oder „ich mag“ vorkommen. Das griff für viele der simplen und teils umgangssprachlichen Antworten viel zu kurz.

Hier eine Auswahl von fünf Feedback-Antworten, die nicht absolut korrekt eingeordnet wurden (siehe dazu meine Bewertung mit Hakerl und Kreuz):

Fail 3: Zitate frei erfunden

Zu bereits vorhandenen Kategorie-Beschreibungen wollte ich Quotes anfügen, die von den Teilnehmer:innen so hinterlassen wurden.

Ich erhielt passende Zitate. Doch der einzige Haken daran: Kein einziges der Zitate ist in dieser Form in den Antworten so vorgekommen.

Fail 4: Summen konnten nicht verifiziert werden

Ein weiterer Auftrag an die Artificial Intelligence war, die einzelnen Feedback-Antworten mit Bezug zu einem Thema (in dem Fall war es die Künstliche Intelligenz selbst) zu durchforsten und eine Summe zu bilden.

Das Ergebnis von 938 kam mir bei rund 3.500 Antworten (entspricht einem Viertel) ziemlich hoch. Aus diesem Grund habe ich begonnen, die Antworten manuell nach den Begriffen zu durchsuchen. Unterm Strich waren es gerade einmal 100 Reaktionen, die Bezug auf die KI genommen haben – nur ein Bruchteil von dem von ChatGPT „errechneten“.

Tipp: Hinterfrage die Ergebnisse der KI und übernimm niemals Antworten (oder Texte) einfach so. Finde dazu mehr Infos in meinem Blogartikel über die Do’s and Don’ts mit ChatGPT.

Fail 5: Buchstabenfolgen statt Worte

Dass ich den Ergebnissen nicht ganz trauen konnte, wurde mir spätestens bewusst, als ich mir eine Liste mit den am häufigsten verwendeten Worte erstellen ließ. Sieh selbst (hier kommen meine persönlichen Highlights an „Wortkreationen“):

Tipp: So geht’s mit Excel

Nach diesen ernüchternden Ergebnissen bin ich schlussendlich auf Excel umgestiegen. Mit diesen drei Funktionen habe ich mir weitergeholfen und eine Suchfunktion gebastelt (die ich übrigens schon seit mehreren Jahren im Einsatz habe):

• SUCHE: durchsucht einen Text nach Zeichen(folgen) und gibt die Stelle aus, an der die gesuchte Zeichenfolge beginnt – das Ergebnis ist also eine Zahl oder eine Fehlermeldung
• ISTZAHL: damit überprüfe ich, ob der Begriff tatsächlich gefunden wurde – das Ergebnis ist WAHR oder FALSCH
• WENN: um in weiterer Folge alle Antworten (=Zeilen) summieren zu können, verwandle ich das WAHR oder FALSCH-Ergebnis aus ISTZAHL in eine „1“ – das lässt sich dann zusammenzählen

Die Formel lautet wie folgt:

=WENN(ISTZAHL(SUCHE(<gesuchter Begriff>;<durchsuchende Zelle>);“1″;““)

Der gesuchte Begriff ist ein Bezug zu einer Zelle, in dich ich die jeweilige Zeichenfolge (auch Wortteile) eintippe. Einmal Enter und ich erhalte die genaue (und zuverlässige) Anzahl der Nennungen. DONE!