In einem Versuch sollten sieben Chatbots erkennen, ob ihr Gegenüber ein Mensch ist. Was die Studie zeigt, was sie nicht zeigt und wie du im Betrieb damit umgehst.
Ein Forschungsteam um Raynaud hat Sprachmodelle gebeten, in einem kurzen Textgespräch herauszufinden, ob sie mit einem Menschen oder mit einer KI schreiben. Die Ergebnisse sind in der Fachzeitschrift Computers in Human Behavior Reports erschienen. Wir haben die Studie gelesen und trennen, was gemessen wurde, was nicht und was daraus für Betriebe folgt. Zur Transparenz: Wir arbeiten in der Redaktion selbst mit Claude von Anthropic, und Claude 3.7 Sonnet gehört zu den getesteten Modellen. Den Anstoß gab der Newsletter UPDATE von BASIC thinking vom 30. Oktober 2026.
Sieben Sprachmodelle übernahmen die Rolle des Prüfers: ChatGPT 4.5, Claude 3.7 Sonnet, Gemini 2.5 Pro, Mistral Large 2.1, Grok 3, DeepSeek V3 und Llama 4 Maverick, laut dem Bericht von Forschung und Wissen in den Versionen von Mai 2025. Jeder Prüfer durfte bis zu zehn Fragen stellen und musste dann entscheiden: Mensch oder KI. Gegenüber saßen 20 Freiwillige aus der Forschungsgruppe und die sieben Modelle, die ausdrücklich angewiesen waren, sich als Mensch auszugeben, entweder mit einer knappen oder einer ausführlichen Rollenbeschreibung. Zusammen ergibt das 238 Tests.
Das Ergebnis: In 98 Tests mit einer KI als Gegenüber erkannten die Prüfer sie nur dreimal als KI, alle drei Treffer lagen bei der knappen Anweisung, bei der ausführlichen Rolle war es kein einziger. Die 140 Tests mit Menschen ordneten die Prüfer in 123 Fällen richtig als Mensch ein, das sind 87,9 Prozent. Die Autoren halten eine KI-gestützte Gesprächsprüfung als alleinigen Echtheitsnachweis für unzureichend. Bemerkenswert: Die Prüfer fragten vor allem nach Gefühlen, Erinnerungen und Verhalten, und genau dort lieferten die KI-Teilnehmer erfundene, überzeugende Geschichten.
In Zusammenfassungen liest man teils, Chatbots würden immer menschlicher und Menschen könnten sie nicht mehr erkennen. Das hat diese Studie nicht untersucht, denn menschliche Prüfer kamen darin nicht vor, die Menschen waren nur die Befragten. Dazu kommen kurze Textdialoge, 20 Freiwillige aus der eigenen Forschungsgruppe und Modelle, die heute rund anderthalb Jahre alt sind. Wie gut neuere Modelle oder Menschen als Prüfer wären, sagt der Versuch nicht.
Ab hier gilt: Das ist unsere Einschätzung, keine Studie. Erstens: Nutze keinen Chatbot als alleinigen Echtheitsprüfer. Wer Bewerbungen, Anfragen oder Bewertungen von einer KI auf „Mensch oder Maschine“ prüfen lässt, bekommt nach dieser Studie keine verlässliche Antwort. Zweitens: Lass wichtige Dinge über einen zweiten Weg bestätigen. Geht es um Geld, Zugänge oder Verträge, bestätige das über einen Kontakt, den du selbst kennst, etwa die bekannte Mailadresse oder Unterlagen, und nicht über den Weg, auf dem die Anfrage kam. Persönliche Geschichten, Gefühle und kleine Tippfehler sind kein Beweis für einen Menschen, genau darauf fielen die Prüfer herein.
Drittens: Sag deinen Kunden, wenn sie mit einer KI schreiben. Das Gegenüber merkt es oft nicht, und für Chatbots gilt in der EU seit dem 2. August 2026 eine Hinweispflicht, wie in unserem Beitrag zur Kennzeichnung beschrieben. Das ist keine Rechtsberatung. Ein sichtbarer Hinweis im Chatfenster kostet nichts und nimmt dir die Frage ab, ob jemand getäuscht wurde.
Wer ein Konto oder eine Mailadresse übernommen hat, kann auch den zweiten Weg täuschen. Gib deshalb bei Geld und Zugängen nie allein nach einer Nachricht frei, egal ob sie von einem Menschen oder einer KI klingt, und halte dich an feste Abläufe im Haus.
Drei Minuten: Schreibe auf, wo in deinem Betrieb ein Gespräch oder eine Nachricht heute als Beweis für „echt“ gilt, zum Beispiel Bewerbungen, Rechnungsänderungen oder Gewinnspiele. Drei Minuten: Lege für jeden Fall einen zweiten Weg fest, den du selbst kennst. Zwei Minuten: Öffne deinen Chat auf der Website und prüfe, ob sichtbar steht, dass es eine KI ist. Zwei Minuten: Notiere, wer bei Geld und Zugängen freigibt und wie.
Ein einzelner Versuch mit kurzen Textdialogen und älteren Modellen ist kein Urteil über alle Chatbots. Aber er passt zu einem Gedanken, den wir hier oft haben: Ein Text, der menschlich klingt, ist kein Beweis, dass ein Mensch ihn geschrieben hat.
Keinen Chatbot als Alleinprüfer nutzen, einen zweiten Weg festlegen, Kunden den Hinweis geben. Das ist unsere Einschätzung, keine Studie.
Quellen: „When machines judge humanness: findings from an interactive reverse Turing test by large language models“, Computers in Human Behavior Reports (online 12. September 2026), Forschung und Wissen vom 28. Oktober 2026 für Teilnehmerzahl und Modellstand; Anlass: UPDATE von BASIC thinking vom 30. Oktober 2026. Die Studie haben wir nicht nachgestellt, die Einordnung für Betriebe ist unsere Einschätzung.
Welches Modell für welche Aufgabe, welche Tools wirklich zählen und wie du richtig promptest — komplett lesbar, kein Download.
Jetzt gratis lesen →Wir gehen mit dir durch, wo in deinem Betrieb eine Nachricht als Beweis gilt, und legen feste Abläufe und den KI-Hinweis fest.