ChatGPT vs. Journalisten: Wer schreibt die besseren Ratgeber?

ChatGPT ist Autovervollständigung mit ganzen Sätzen. So könnte man die Funktionsweise der künstlichen Intelligenz (KI), zu denen auch der neue Chatbot von Bing und Googles Bard gehören, auf den Punkt bringen. Du kennst die Autovervollständigung sicher von deinem Handy: Du tippst „Schiffahrtsg“ ein und die Funktion ergänzt das Wort, etwa zu „Schifffahrtsgesellschaft“ oder zu „Schifffahrtsgeschichte“.

Ihre Informationen beziehen die KIs von menschlichen Autoren. Die Entwickler fütterten die Chatbots zunächst mit Texten, vor allem mit Texten aus dem Internet. Auf ein Training mit vorgefertigten Antworten folgt ein Check durch eine weitere KI.

Wie ChatGPT selbst einschränkt, sind die Möglichkeiten der KI begrenzt: „Als von OpenAI trainiertes Sprachmodell habe ich nicht die Fähigkeit, die Qualität meiner Arbeit einzuschätzen (…). Mein einziger Zweck ist es, Nutzern zu assistieren, indem ich auf Basis von Eingabeaufforderungen und mir zur Verfügung gestellten Informationen Text erzeuge.“ Das gab die KI zu verstehen, als sie mit gemischten Ergebnissen die Arbeit eines menschlichen Journalisten von Fast Company erledigen sollte.

Die Frage, wie gut ChatGPT im Vergleich zu Menschen Ratgeber schreiben kann, ist insofern keine zielführende. Sie müsste lauten: Wie passend kann ChatGPT die Informationen aus von Menschen geschriebenen Artikeln neu formulieren, um eine Frage zu beantworten?

Schreiben Schüler in Klassenarbeiten von jemandem ab, wissen sie in der Regel zumindest noch von wem – ChatGPT kann nicht rekonstruieren, von welchen Texten es abgeschrieben hat. Die neue Bing-KI von Microsoft ist dazu allerdings in der Lage – zum Glück konnten wir auch diese KI im Vorfeld testen. Das „neue Bing“ zeigt anschaulich, wie der Chatbot-Trick funktioniert.

Die KI hat sich also bei von Menschen verfassten Ratgebern bedient. Der Nutzer darf sich bei den Kollegen von familie.de, ig-fotografie.de und pixolum.com für die Tipps bedanken, wie man gute Familienfotos macht. Unser Autor MiGel, der nebenbei als Fotograf arbeitet, verfasste einen ausführlichen MediaMagazin-Ratgeber zum Thema Familienfotos. Im Gegensatz zum Chatbot bringt er professionelle Erfahrung mit und hat gelegentlich eine Kamera in der Hand. Vielleicht werden Chatbots zukünftig auch von ihm abschreiben.

Als brauchbares Werkzeug sollte ChatGPT zumindest in der Lage sein, einfache Ratgeber zu allgemeinen Themen zu erstellen. Die Antworten sollten auf Fakten beruhen und für den Leser nützlich sein. Wir haben dem Chatbot für unseren Vergleich wirklich nicht viel abverlangt. Hier sind die Antworten der KI auf einige typische Fragen, die auch unsere einfacheren Ratgeber beantworten.

Geräte für die erste WG

In der ersten Runde geht es um die Frage, welche Geräte für die erste WG du gebrauchen könntest.

Wer in seine erste WG zieht, wird in der Regel nicht viel Geld für seine Haushaltsgeräte ausgeben können. Er braucht Geräte mit einem guten Preis-Leistungs-Verhältnis. ChatGPT legt den Fokus bei seinen Vorschlägen jedoch nicht auf niedrige Preise. Stattdessen fügt es jedem Gerät auf der Liste eine überflüssige Erklärung hinzu: „Waschmaschine: Eine Waschmaschine ist unerlässlich, wenn Sie Ihre Wäsche selbst waschen möchten.“

Auch da ChatGPT nur Arten von Geräten empfiehlt, die in Haushalten generell anzutreffen sind, und keine konkreten Produkte für die erste WG, ist der Nutzen des Ratgebers sehr gering. Im Grunde ist er nur für jene erhellend, die nicht wissen, dass in ihrer WG eine Waschmaschine und ein Kühlschrank praktisch wären.

Höhepunkte der CES 2023

Nun wollen wir uns über die Höhepunkte der CES-Messe 2023 informieren. ChatGPT hat keine Kenntnis von Ereignissen nach 2021 und kann dementsprechend den Aktualitätsbezug nicht herstellen. Der Chatbot sagt, die CES 2023 sei „ein Ereignis in der Zukunft“. Das MediaMagazin hingegen weiß Bescheid und berichtet über die neuesten Techtrends. Ein weiterer Punkt für Team Mensch.

Allerdings könnte man einwenden, dass KIs in Zukunft mit aktuelleren Daten gefüttert werden dürften. Wie diese tagesaktuell sein könnten, ist allerdings unklar. Schließlich müssten sich die Chatbots auf Journalisten verlassen, die von einer Messe berichten, während sie stattfindet. Chatbots besitzen ohne Texte von Menschen keine Informationen.

Drohnen für Kinder

Vielleicht haben wir die KI überfordert. Versuchen wir es mit einem besonders einfachen, älteren Text, den wir exemplarisch noch nicht auf den aktuellen Stand gebracht haben: eine Topliste zu Drohnen für Kinder.

ChatGPT nennt diesmal drei konkrete Modelle, wenn auch mit sehr generischen Angaben. Leider sind zwei der Modelle in Deutschland nicht verfügbar. Wir fragen nach, ob ChatGPT genauere technische Daten zu den Drohnen nennen kann. Das tut der Chatbot zwar, aber wie unsere Recherche ergibt, hat die KI Angaben zu Flugzeit und Gewicht bei einigen Modellen frei erfunden. Wir schlagen solche Angaben beim jeweiligen Hersteller nach.

Wann brauche ich einen neuen Laptop?

Runde 4: Wann brauche ich einen neuen Laptop? Schön: ChatGPT hat einige brauchbare Tipps, woran du das erkennst. Leider weißt du vorher nie, wann die Antworten der KI stimmen, in diesem Fall haben wir aber Glück, sie stimmen. Dafür ist die Antwort von ständigen Wiederholungen geprägt („kann es Zeit für ein neues Notebook sein“) und damit unangenehm zu lesen.

Die Nachfrage, welches neue Notebook zu dir passt, kann ChatGPT nicht konkret beantworten. Die Antworten der KI bleiben häufig sehr allgemein.

Wann du einen neuen Laptop brauchst, hängt also von verschiedenen Umständen ab – das dürfte dir ohnehin klar sein. Eine gute Empfehlung liefert die KI aber: Du sollst dich bitte online informieren. Das könntest du etwa beim MediaMagazin machen, denn unser Ratgeber hat eine konkretere Antwort, die dem Leser persönliche Bezugspunkte je nach geplantem Einsatzzweck bietet.

Neue Ökodesign-Richtlinie der EU für TVs

Ein letzter Schlagabtausch: Was hält ChatGPT von der neuen Ökodesign-Richtlinie der EU, die zu dem Verbot von einigen TVs führen dürfte? Da die KI nur Informationen bis zum Jahr 2021 hat, dürfte sie kaum etwas dazu sagen können. Doch wohl auf Grundlage der Informationen in unserer Frage denkt sie sich eine plausibel klingende Antwort aus. Der Leser gewinnt den Eindruck, die KI wüsste Bescheid.

Hersteller werden also „neue Modelle entwickeln, die den Anforderungen entsprechen“. Das haben sie schon und mehrere davon als Highlights auf der CES 2023 vorgestellt. Dass die KI das eigene Unwissen nicht eingesteht, sondern auch ausgedachte Antworten mit faktisch-enzyklopädischem Ton vorträgt, dürfte viele Nutzer in die Irre führen.

Im Vergleich zu Texten von Menschen hat die Texterstellung mit einem Chatbot aber auch Vorzüge. So kannst du etwa mit ChatGPT interagieren. Statt eine Frage zu googeln und einen Ratgeber zu lesen, startest du ein Gespräch mit der KI. Dabei kannst du nachhaken, wenn du etwas nicht verstanden hast und die KI anweisen, die Informationen zu vertiefen.

Auch schreibt ChatGPT Aussagen auf Wunsch um. „Erkläre mir das, als wäre ich 5 Jahre alt“ – schon bricht die KI komplexe Sachverhalte in einfache Sprache herunter. Sobald das verlässlich funktioniert und die Informationen stimmen, wäre es eine großartige Funktion für die Barrierefreiheit. Hier erklärt ChatGPT Induktionsladung für einen Fünfjährigen.

ChatGPT hätte noch etwas deutlicher machen können, dass es sich das Induktionsspielzeugauto ausgedacht hat, aber ansonsten funktioniert die Erklärung recht gut.

Wenn du die nötigen Einfälle lieferst, stellt die KI ungewöhnliche Zusammenhänge her: „Wie kann ich mein defektes Handy in ein Spielzeug verwandeln?“ Der Chatbot hat eine Antwort parat.

Beim kreativen Brainstorming trumpft die KI also auf – vor allem, wenn die Informationen nicht korrekt sein müssen. Planst du zum Beispiel eine witzige Fantasiegeschichte, könnte ChatGPT als Sparringpartner hilfreich sein.

Die Vorteile auf den Punkt gebracht:

1. Du kannst mit Chatbots interagieren – etwa nachhaken, wenn du etwas nicht verstanden hast.
2. Die KI kann auf Nachfrage mehr ins Detail gehen, bleibt aber weit von Expertenwissen entfernt.
3. ChatGPT schreibt Informationen auf Wunsch um, zum Beispiel für Kinder.
4. Der Chatbot liefert konkrete Vorschläge, wie du originelle Ideen umsetzen kannst.
5. Die KI eignet sich gut für kreatives Brainstorming, wenn Informationen nicht stimmen müssen.

KIs wie ChatGPT verstehen Aussagen nicht, können wahr und falsch nicht unterscheiden. Wenn sie in Zukunft häufiger korrekte Antworten liefern, dann nur, weil Menschen sie mit mehr wahren Aussagen gefüttert haben. Die KIs haben kein Bewusstsein, keine Erfahrung in der Interaktion mit der physischen und sozialen Wirklichkeit, keine Gedanken und keine Gefühle. Sie erzeugen Sätze lediglich aufgrund von Wahrscheinlichkeiten und auf Basis von bereits geschriebenen Texten. Das ist praktisch für bestimmte Zwecke – aber man muss sich über Chancen und Grenzen im Klaren sein.

Die Qualität der Antworten von ChatGPT hängt stark von den Formulierungen der Fragen ab. Um eine gute Antwort zu bekommen, erfordert die Fragestellung meist Hintergrundwissen und Mehraufwand. Fachredakteuren ist bekannt, welche Fragen sie zu einem Thema stellen müssen, um am ehesten nützliche Antworten zu erhalten. Der Durchschnittsanwender zeichnet sich dadurch aus, dass er sich eben nicht gut im konkreten Thema auskennt. Das macht den Einsatz der Chatbots schwieriger.

Die Nachteile auf den Punkt gebracht:

1. KIs wie ChatGPT verstehen nicht, was sie schreiben.
2. Sie können wahr und falsch nicht unterscheiden.
3. Sie haben kein Bewusstsein.
4. Sie haben keine Erfahrung in der Interaktion mit der physischen und sozialen Wirklichkeit.
5. Sie haben keine Gedanken und keine Gefühle.
6. Die Qualität der Chatbot-Antworten hängt stark von den Formulierungen der Fragen ab.
7. Die Chatbots erzeugen lediglich Sätze aufgrund von Wahrscheinlichkeiten und auf Basis bereits geschriebener Texte.

Experten und Journalisten berichten über Schwächen von ChatGPT

1. Laut dem SEO-Experten Gael Breton performen menschengemachte Texte im Vergleich zu den KI-Texten der Medienwebsite CNET in den Google-Suchresultaten „bei Weitem besser“, wie Euronews schreibt – ein Zeichen für die niedrige Qualität der KI-Texte.
2. CNETs „KI-Journalist“ erstellte laut futurism.com massenhaft direkte Plagiate der Texte menschlicher Autoren.
3. ChatGPT erfindet Quellen wie Bücher und wissenschaftliche Arbeiten, wie das RedaktionsNetzwerk Deutschland, RND, berichtet.
4. „Ich glaube aber nicht, dass es sinnvoll möglich ist, computergenerierte Texte einfach ungeprüft zu verwenden“, sagt Technikfolgenexperte Stefan Strauß von der Österreichischen Akademie der Wissenschaften.
5. Der Chatbot wird aus unbekannten Gründen bei der Eingabe bestimmter Reddit-Nutzernamen beleidigend und gibt verrückte Antworten, wie das Magazin Vice schreibt.
6. „Ich bin wie die meisten anderen Experten mit der Zeit immer mehr davon überzeugt, dass bestimmte Aspekte menschlicher Intelligenz nicht von einem synthetischen System reproduzierbar sind“, sagt die Psychologin und Informatikerin Prof. Dr. Ute Schmid vom Lehrstuhl für Kognitive Systeme der Universität Bamberg dem Deutschen Ärzteblatt. Und im Gespräch mit der Süddeutschen Zeitung sagt Schmidt: „Ein tieferes Problem bei dem GPT3-Modell besteht darin, dass es nicht möglich ist, nachzuvollziehen, welche Quellen wann und wie in die jeweiligen Aussagen eingegangen sind.“
7. Trotz allem lassen Nutzer ihre Meinung durch von der GPT-3-KI erzeugte Texte beeinflussen, wie die Studie „Co-Writing with Opinionated Language Models Affects Users’ Views“ von Maurice Jakesch et al. ergab.

Nun werden Chatbots stets weiterentwickelt. Allerdings hat die neue Bing-KI ähnliche Schwierigkeiten: Sie bleibt laut einem FAZ-Test inhaltlich flach, erfindet laut einem n-tv-Artikel Informationen und neigt zu unvorhersehbarem Verhalten, darunter Manipulation, Beschimpfung und Bedrohung der Nutzer, wie The Verge berichtet.

Andreas Müller:

ChatGPT habe die theoretische Medizinprüfung in den USA bestanden, hieß es in den Nachrichten. Ein kluger Facebook-Kommentar dazu: „Mit Zugriff auf das Internet hätte ich die auch bestanden.“ ChatGPT ist wie ein Student, der nichts gelernt hat, und der während der Prüfung die Antworten heimlich im Netz liest. Alles, was er tun muss, ist sie umzuformulieren, damit der Professor nicht merkt, dass er schummelt. Und selbst dabei macht die KI noch Fehler.

Im Gegensatz zu ChatGPT benennt der neue Bing-Chatbot wenigstens die Quellen – so lässt sich besser nachvollziehen, wie der Trick funktioniert. Natürlich benutzen auch Journalisten das Internet zur Recherche. Aber sie benutzen es nicht als Ersatz für eigene Leistungen. Die Chatbots haben noch nie ein Gericht selbst zubereitet oder gekostet, sie haben nur das Rezept von Menschen abgeschrieben. Sie haben noch nie mit ihrem Smartphone Fotos von der Hochzeit ihres Freundes gemacht, sie haben nur einen Ratgeber dazu aus dem Internet kopiert.

Das Beeindruckende an ChatGPT sind für mich nicht die Inhalte, sondern ist der Umstand, dass die KI sprachlich korrekte Sätze verfassen kann. Das hat sie einigen Studenten voraus.

Andreas Müller ist redaktioneller Projektmanager des MediaMagazins. Er hat einen Master in Journalismus, einen Magister in Germanistik und hat ein paar Bücher geschrieben. Bei der Gesellschaft für kritische Philosophie engagiert er sich für die philosophische Erwachsenenbildung.

Till Striegel:

Ein Blockbuster-Showdown zwischen zwei würdigen Kontrahenten: Der unfehlbare Computeralgorithmus, der jede Antwort mit einem Siegerlächeln präsentiert, gegen den bedauernswerten menschlichen Experten, der bald seinen Job an Roboter verlieren wird.

Nun mal halblang! Manche Dinge sind nicht so berechenbar wie Schach, sondern erfordern Lebenserfahrung und ein Gespür für das menschliche Gegenüber. Wer Hilfe anbieten möchte, muss auch verstehen, wo der Schuh drückt – nicht nur wissen, wo der Begriff „Schuh“ häufig vorkommt.

Auf den ersten Blick sehen Texte von ChatGPT denen von Menschen zwar zum Verwechseln ähnlich. Aber was zwischen den Zeilen verloren geht – nicht nur Fakten, sondern auch „the human touch“, das gewisse Etwas, die Magie –, das ist es, was in mir erst die Leidenschaft für ein Thema weckt. Selbst, wenn die künstliche Intelligenz nie falsch läge, sie läge trotzdem daneben. Denn ihr Wesen ist gleichgültig. Sie hat keine Interessen. Sie hat kein Verständnis. Und davon, was „das Beste für mich“ ist – so verriet mir ChatGPT selbst –, hat die KI nicht den leisesten Schimmer.

Till Striegel ist Redakteur beim MediaMagazin. Er hat einen Bachelor in Germanistik und Philosophie. Seit dem Kindesalter entwickelt er Anwendungen in mehreren Programmiersprachen.

Michael Gelfert (MiGel):

Ich habe für einen Artikel über Speicherkarten ausprobiert, inwieweit ChatGPT mir da helfen kann. Mein vorläufiges Fazit: Gründliche Recherche kann der Chatbot nicht ersetzen – höchstens ein paar Ansätze für eigene Recherche liefern. Der Hauptgrund dafür ist, dass die Antworten sowohl schlicht falsche als auch veraltete Informationen enthielten. Das ist für einen aktuellen Artikel mit redaktionellem Anspruch inakzeptabel. Hilfreich ist die KI aber bei Umformulierungen.

Ich würde ChatGPT insgesamt wieder nutzen. Es ist ein hilfreiches Tool, wenn man es richtig und gezielt einzusetzen weiß. Aber es ist kein Ersatz für eigenes Wissen, für eigene Recherche und Artikelkonzeption.

Michael Gelfert ist Redakteur beim MediaMagazin und hat ein Diplom in Wirtschaftsinformatik. Er hat mehr als ein Jahrzehnt Erfahrung als professioneller People-Fotograf, außerdem verfasste MiGel zwei Fachbücher, zahlreiche Artikel in Fotofachmagazinen und er führt einen eigenen Blog.

ChatGPT: