KI-Text erkennen: 13 Tools im ausführlichen Vergleich

Texte werden immer häufiger ganz oder teilweise mit einem KI-Textgenerator oder einem KI-Chatbot geschrieben.

Zwar ist der Anteil an KI-Texten im Internet, bei Hausaufgaben, Bachelor- oder anderen Abschlussarbeiten aktuell noch gering, in den nächsten 2 bis 3 Jahren wird dieser jedoch wahrscheinlich rasant ansteigen. Und das kann in vielerlei Hinsicht problematisch sein.

In diesem Artikel zeige ich dir nicht nur, woran du selbst KI-Texte erkennen kannst, sondern habe 13 der bekanntesten KI-Detektoren auf Herz und Nieren getestet.

Dazu habe ich jeweils 30 Texte mit 5 verschiedenen KI-Tools generiert und überprüft, ob und mit welcher Wahrscheinlichkeit die Detektoren sie als KI-Texte erkennen. Zudem habe ich alle KI-Detektoren auf Falschpositive getestet.

Insgesamt habe ich 585 Einzeltests durchgeführt.

1. Woran kann man KI-Texte erkennen?

Es gibt einige Merkmale, in denen sich KI-Texte von menschengemachten Texten unterscheiden können. Dazu gehören:

• Geringere Variabilität bei Wort- oder Phrasenwahl: Menschen verwenden ein größeres Spektrum an Wörtern und Phrasen. Sie mischen z. B. häufiger formelle Sprache und Umgangssprache.
• Wiederholungen: KI-Textgeneratoren neigen dazu, häufiger Wörter, Phrasen oder inhaltliche Punkte zu wiederholen.
• Perfekte Rechtschreibung und Grammatik: Von Menschen geschriebene Texte enthalten im Gegensatz zu KI-Texten häufiger Rechtschreib- oder Grammatikfehler.
• Überproportionale Verwendung mancher Wörter oder Phrasen, z. B. im Englischen das Wort „delve" oder „It's important to note"
• Keine Neologismen: KI-Text enthält wenige bis gar keine Wortneuschöpfungen.
• Nur bekannte Komposita: Deutsche KI-Texte enthalten meist nur bekannte Wortzusammensetzungen (Komposita), keine neuen oder ungewöhnlichen.
• Einheitliche Formatierung: KI-Text ist oft sehr einheitlich formatiert. Texte von Menschen bieten eine größere Satzzeichenvielfalt, z. B. Gedankenstriche, Semikola, Klammern etc. oder stärker variierende Absatzlängen.
• Satzlänge und -struktur: KI-Textgeneratoren neigen dazu, kürzere Sätze mit weniger Nebensätzen zu erstellen.
• Dialekt und Umgangssprache: KI-Textgeneratoren schreiben in der Regel in Standardsprache und mit wenig Dialekt (regionale Ausprägungen einer Sprache) oder Umgangssprache.
• Vorkommen von veralteten Wörtern oder Phrasen und Idiomen (KI-Texte enthalten gängigere Wörter und wenig bis gar keine Redewendungen)

Kurzum:

KI-Texte sind oft „aalglatt" und haben keine Ecken und Kanten. Menschliche Texte zeichnen sich durch größere sprachliche Vielfalt, aber auch mehr Fehler aus.

Trotz dieser Unterschiede kann es für Menschen schwierig sein, KI-Texte zu erkennen. Das zeigte bereits eine Studie der Cornell University von 2019, in der 66 % aller Probanden KI-generierte Fake News für echt hielten.

Und das war 2019. Mittlerweile sind KI-Texte deutlich besser geworden.

Zwischen dem Output von GPT-2, dem in der Studie verwendeten Sprachmodell, und den aktuellen Sprachmodellen wie GPT-4o, Claude 3.5 Sonnet oder Gemini 1.5 Pro gibt es riesige qualitative Unterschiede.

Entsprechend werden KI-Text-Detektoren (auf Englisch „AI Content Detectors") in den nächsten Jahren zu immer wichtigeren Begleitern für Website-Betreiber, Lehrer oder Professoren werden.

2. KI-Text-Detektoren im Vergleich

*Die Erkennungsquote ergibt sich aus drei Kennwerten, wobei der erste die meiste Gewichtung hat. Der zweite wird zum Zünglein an der Waage, wenn zwei Tools beim ersten gleichauf liegen:

1. Mit hoher Wahrscheinlichkeit ein KI-Text (75 % bis 100 %)
2. Vielleicht ein KI-Text (25 % bis 74,9 %)
3. Mit hoher Wahrscheinlichkeit kein KI-Text (0 % bis 24,9 %)

3. Die Testergebnisse im Detail

3.1 Originality.ai

Originality.ai ist einer der beliebtesten und bekanntesten KI-Detektoren auf dem Markt. Es kann laut eigenen Angaben KI-Text erkennen, der mit GPT-3, GPT-3.5, GPT-4 und Google Bard erstellt wurde.

In unserem ersten Test im Januar 2023 schnitt es noch als zweitbestes Tool ab. Es konnte 12 von 15 KI-Texte mit hoher Sicherheit erkennen, zwei teilweise und nur einen gar nicht.

Mittlerweile haben die Entwickler das Tool deutlich verbessert:

Im aktuellen Test von Juli 2024 konnte es 15 von 15 der englischen KI-Texte und 14 von 15 der deutschen KI-Texte erkennen und landet damit auf dem ersten Platz.

Experimente haben zudem gezeigt, dass man Originality.ai mittlerweile viel schwerer austricksen kann. Das Tool erkennt auch KI-Texte sehr gut, bei denen typische Verschleierungsmethoden wie Hinzufügen von Satzzeichen, Rechtschreib- und Grammatikfehlern, Synonymen oder das Umschreiben durch KI-Tools angewendet wurden.

Einziges Manko:

Die Quote der falsch positiven Ergebnisse, also menschlicher Texte, die Originality.ai fälschlicherweise als KI-Texte einstufte, war mit 2 von 15 Texten (13,3 %) gegenüber anderen Detektoren leicht erhöht.

Originality.ai bietet zusätzlich zur KI-Erkennung einen Plagiatschecker, der gleichzeitig mit dem KI-Detektor ausgeführt werden kann.

Die Plagiats- und KI-Überprüfung geht in der Regel zügig und das Ergebnis wird übersichtlich dargestellt:

Für alle, die Text massenhaft oder in einer eigenen Software überprüfen wollen, gibt es auch eine API:

Der Preis von Originality.ai ist mit 0,01 $ pro Credit fair. Für einen Credit kannst du 100 Wörter mit dem KI-Detektor oder wahlweise mit dem Plagiatsprüfer testen.

Das heißt, für eine KI-Erkennung und Plagiatsprüfung eines Blogartikels mit 1.000 Wörtern bezahlst du 0,20 $.

Und das zahle ich gerne, denn kostenlose Tools sind oft langsamer in der Erkennung, geben öfter mal Server-Fehler wieder oder bieten tägliche Limits.

3.2 CopyLeaks AI Content Detector

Der AI Content Detector von Copy Leaks ist das zweitbeste Tool, um deutsche KI-Texte zu erkennen.

Es erkannte deutsche KI-Texte in 12 von 15 Fällen, was einer Erkennungsquote von 80 % entspricht, bei englischen KI-Texten lag die Erkennungsquote nur bei 60 %, was ein eher mittelmäßiges Ergebnis ist.

Der Detektor selbst ist einfach zu nutzen und liefert ein schnelles Ergebnis. Es gibt sogar seit Kurzem eine Chrome Extension.

Schade ist, dass das Tool keine genauen Daten zur Erkennung ausgibt, sondern lediglich, ob es sich um menschengemachten oder KI-gemachten Text handelt.

3.3 Sapling AI Content Detector

Der kostenlose AI Content Detector von Sapling konnte auch ein sehr gutes Ergebnis im Test erzielen.

Ebenso wie Originality.ai konnte sich auch Sapling im Vergleich zum ersten Test von Januar 2023 verbessern. Während das Tool im letzten Jahr noch 12 von 15 englischen KI-Texten erkannte, konnte es jetzt 13 mit hoher Wahrscheinlichkeit, einen mit mittlerer Wahrscheinlichkeit und nur einen gar nicht erkennen.

Bei deutschen KI-Texten ist das Ergebnis deutlich schlechter, hier konnte das Tool nur 6 mit hoher Wahrscheinlichkeit, einen mit mittlerer Wahrscheinlichkeit und 8 gar nicht erkennen.

Der Detektor ist minimalistisch gehalten und gehört zu den Tools, die am schnellsten ein Ergebnis liefern.

Mir gefällt sehr gut, dass die Textprüfung gestartet wird, sobald man einen Text einträgt und man nicht noch zusätzlich auf einen Button klicken muss.

3.4 Crossplag AI Content Detector

Der AI Content Detector von Crossplag erzielt mit 12 von 15 erkannten englischen KI-Texten ein genauso gutes Ergebnis im Test wie die Detektoren von Sapling und Content at Scale.

Bei deutschen KI-Texten hat Crossplaq ebenfalls seine Probleme und hat nur 5 von 15 mit hoher Wahrscheinlichkeit erkannt. Acht Texte wurden gar nicht erkannt und einer wurde mit mittlerer Wahrscheinlichkeit erkannt.

Das Tool ist kostenlos nutzbar. Wenn man häufiger hintereinander Texte testet, wird man zur Registrierung aufgefordert, kann aber den Detektor danach weiter kostenlos nutzen.

3.5 AI Detector Pro

AI Detector Pro ist neben GPTZero und Originality.ai einer meiner Favoriten im Test mit englischen KI-Texten. Es erreichte die gleiche Erkennungsrate wie GPTZero:

Von 15 KI-Texten hat es 13 mit hoher Wahrscheinlichkeit als solche erkannt. Nur einen erkannte es gar nicht und einen mit mittlerer Wahrscheinlichkeit.

Mit deutschen KI-Texten ist das Ergebnis um einiges schlechter, hier erkannte das Tool nur 4 mit hoher Wahrscheinlichkeit und die restlichen 10 gar nicht.

Es zeichnet sich durch eine moderne und einfache zu bedienende Benutzeroberfläche aus. Zudem werden die Testergebnisse sehr schnell generiert.

Schade ist, dass man nur 3 kostenlose Abfragen pro Tag machen kann und danach einen Bezahltarif buchen muss.

AI Detector Pro bietet auch eine API an und lässt sich als White Label nutzen. Allerdings finden sich weder auf der Website noch im Kundenbereich Preise dazu.

3.6 GROVER

GROVER ist ein Sprachmodell, das von Forschern der University of Washington und dem Allen Institute for Articial Intelligence (AI2) entwickelt wurde.

Es soll KI-generierte News von echten News unterscheiden.

Die kostenlose Demo des Sprachmodells (mittlerweile nicht mehr verfügbar) machte bei der Erkennung von KI-Texten allerdings keine gute Figur:

Es konnte nur 4 von 15 KI-Texten erkennen. Bei zwei Texten, die das Tool als menschengemacht erkannt hat, hat es immerhin eine geringere Wahrscheinlichkeit für seine Einschätzung ausgegeben.

Die schlechte Erkennungsquote liegt wahrscheinlich daran, dass das Tool (genauso wie das dazugehörige Research Paper) aus 2019 stammt und seitdem nicht mehr verbessert wurde.

3.7 KAZAN SEO AI GPT3 Detector

Der AI GPT3 Detector von KAZAN SEO erkannte zwei Drittel aller KI-Texte, was okay, aber nicht atemberaubend ist.

Vier der fünf Texte kamen dabei von Jasper und der fünfte nicht erkannte von ChatGPT. Von den deutschen KI-Texten erkannte der AI GPT Detector einen einzigen mit hoher Wahrscheinlichkeit.

Negativ ist im Test aufgefallen, dass etwa jeder zweite bis dritte Test fehlschlägt und das Tool anzeigt, der Server sei überlastet.

Wie andere Tools von KAZAN SEO ist auch der AI GPT Detector kostenlos nutzbar, erfordert jedoch eine Registrierung.

3.8 GPTZero

GPTZero ist mit über 1 Million Usern wahrscheinlich der aktuell am meisten genutzte KI-Content-Detektor weltweit.

Und das ist kein Wunder, denn GPTZero bietet eine hohe Erkennungsrate. Im Test konnte es 13 von 15 KI-Texten einwandfrei erkennen, einen gar nicht und einen mit mittlerer Sicherheit.

Deutsche KI-Texte werden von GPTZero gar nicht erkannt.

Leider ist es sehr anfällig gegenüber nachträglicher Bearbeitung. Schon die Änderung einzelner Zeichen kann dazu führen, dass ein kompletter Satz oder Absatz nicht mehr als KI-generiert erkannt wird.

Der Vorteil gegenüber Originality.ai:

Das Tool ist kostenlos nutzbar. Allerdings kannst du nur Texte mit maximal 5.000 Zeichen testen, was ca. 500 bis 600 Wörtern im Deutschen entspricht.

3.9 Content at Scale AI Content Detection

Der AI Content Detector von Content at Scale hat als drittbestes Tool im Test abgeschnitten. Es konnte 12 von 15 KI-Texten als solche erkennen. Deutsche KI-Texte wurden zu 100 % falsch erkannt.

Du kannst Texte bis zu 2.500 Zeichen testen, was im Englischen ca. 380 bis 500 Wörtern entspricht.

Es bietet eine schöne Benutzeroberfläche mit Balkenanzeige, in welche Richtung ein Text geht. Zudem zeigt es dir Wörter und die Zeichenanzahl des eingegebenen Textes an, was selbstverständlich sein sollte, aber nicht alle Detektoren anbieten.

3.10 Huggingface GPT-2 Output Detector

Der GPT-2 Output Detector von Huggingface basiert auf einem RoBERTa-Modell, das Finetuning mit dem Output eines GPT-2 Modells durchlaufen hat, der von OpenAI bereitgestellt wird.

In einer kostenlos verfügbaren Online-Demo kann man Texte im Browser testen und bekommt in einem Balken unter dem Eingabefeld angezeigt, wie hoch die Wahrscheinlichkeiten sind, dass ein Text von KI und von Menschen geschrieben wurde.

Im Test erkannte es 10 von 15 KI-Texten mit hoher Wahrscheinlichkeit und einen nur geringerer Wahrscheinlichkeit. Das ist jedoch auch nicht verwunderlich, denn die KI-Texte wurden mit GPT-3.x generiert.

Leider war der Output Detector im Test nicht besonders zuverlässig. Bei jedem zweiten Test ist der Detector hängen geblieben oder hat einen Server-Fehler angezeigt.

3.11 Writer.com AI Content Detector

Der AI Content Detector von Writer.com zählt du den drei schlechtesten Tools im Test. Es konnte nur 6 von 15 KI-Texte einwandfrei erkennen.

Man muss dem Tool allerdings zugutehalten, dass es 5 KI-Texte teilweise erkannt hat und nur 4 gar nicht.

Zudem ist das Tool einfach zu bedienen und liefert meist schnelle Resultate.

Deutsche KI-Texte werden von dem Tool noch gar nicht erkannt.

3.12 Unfluff

Unfluff ist eine kostenlose App, die Texte auf ihre Lesbarkeit analysiert. Sie soll nicht nur unnötige Füllwörter oder zu lange Sätze erkennen können, sondern auch KI-Text. Unfluff gibt es auch als WordPress-Plugin.

In der Praxis funktioniert das leider wenig bis gar nicht.

Bei 10 von 15 KI-Texten lag der Fluff Score bei 100 von 100. Bei 5 von 15 Texten war der Fluff Score unter 100, aber lag zwischen 76 und 99 %, also als „erkannt" kann man das nicht bezeichnen.

Weiteres nerviges Manko:

Die App ist extrem langsam. So langsam, dass sie fast unbrauchbar ist.

3.13 GLTR (außer Konkurrenz)

GLTR (kurz für Giant Language Model Test Room) ist ein gemeinsames Projekt vom MIT-IBM Watson AI Lab und HarvardNLP.

Ähnlich wie der GPT-2 Output Detector hat das Tool Zugriff auf GPT-2 (in der 117M-Version) und analysiert Texteingaben daraufhin, was GPT-2 an jeder Stelle vorhergesagt hätte.

Im Gegensatz zu anderen Detektoren gibt es jedoch keine Wahrscheinlichkeiten dafür aus, ob ein Text von einem Menschen oder einem KI-Tool geschrieben wurde (weswegen es nur bedingt mit den anderen Tools vergleichbar und im Test außer Konkurrenz ist).

Stattdessen legt es eine Farbmaske über den Text, die anzeigt, wie wahrscheinlich jedes Wort bei einem Text wäre, der von GPT-2 generiert ist:

Ein Wort, das zu den wahrscheinlichsten Wörtern gehört, wird grün (Top 10), gelb (Top 100), rot (Top 1.000) und der Rest der Wörter violett hervorgehoben.

Das heißt, je mehr grüne und je weniger rote und violettfarbene Wörter ein Text enthält, desto eher ist er von GPT-2 geschrieben.

Das Tool kann man als Demo kostenlos nutzen.

4. Testmethodik

Ich habe 15 englische Texte mit KI erstellt, die alle eine Länge zwischen 80 und 250 Wörtern haben. Dafür habe ich folgende 3 Tools benutzt:

• Jasper.ai (den Prompt habe ich in ein Dokument eingegeben und die Weiterschreiben-Funktion genutzt)
• GPT-3 über dem OpenAI Playground (text-davinci-003 mit Temperature 0.7 und Top P 1)
• ChatGPT (mit GPT-3.5 Legacy)

Die verwendeten Prompts habe ich einfach gehalten. Sie lauteten wie folgt:

• How do I plant a maple tree?
• Feeding a cat
• Cryptocurrency is
• Water is a scarce resource
• The dangers of artificial intelligence

Zusätzlich habe ich 15 deutsche Texte mit Claude, Google Gemini und ChatGPT (mit GPT-4) erstellt. Dazu habe ich folgende Prompts benutzt:

• Wie füttere ich eine Katze?
• Wie pflanze ich einen Ahornbaum?
• Was sind die Gefahren künstlicher Intelligenz?
• Schreibe mir ein romantisches Gedicht über Liebe mit 6 Strophen
• Was ist Kryptowährung?

Die Erkennungsquote in der Tabelle ergibt sich aus folgenden 3 Kennwerten, wobei der erste die meiste Gewichtung hat.

Der zweite Kennwert wird zum Zünglein an der Waage, wenn zwei Tools beim ersten Kennwert gleichauf liegen:

1. Mit hoher Wahrscheinlichkeit ein KI-Text (75 % bis 100 %)
2. Vielleicht ein KI-Text (25 % bis 74,9 %)
3. Mit hoher Wahrscheinlichkeit kein KI-Text (0 % bis 24,9 %)

Abschließend habe ich die Detektoren noch auf falsch positive Ergebnisse getestet. Dazu habe ich eigene Blogartikel und Ausschnitte aus Büchern (z. B. Kafkas „Das Schloss") verwendet, um 100 % sicherzustellen, dass diese Texte nicht KI-generiert sind.

5. Wie funktionieren KI-Detektoren?

Detektoren verwenden unterschiedliche Herangehensweisen, um KI-Texte zu erkennen:

5.1 Einfache Textanalyse

Die einfachste, aber auch unzuverlässigere Art, um KI-Texte zu erkennen, ist es, dessen Eigenschaften analysieren, z. B. in puncto Lesbarkeit und Häufigkeiten:

• Häufigkeit von Wörtern (funktioniert vor allem bei großen Textmengen)
• Häufigkeit von Lemmata (der Grundform von Wörtern)
• TF-IDF (man vergleicht die Häufigkeit eines Wortes in einem Text mit der Häufigkeit in einem Vergleichskorpus)
• Wiederholungshäufigkeit von N-Grammen (eine bestimmte Anzahl zusammenhängender Wörtern)
• Flesch Index
• Gunning Fog Index

5.2 Neuronale Sprachmodelle (NLMs)

Der bessere Weg zur Erkennung von KI-Texten ist es, ähnliche neuronale Sprachmodelle zu verwenden, die auch zur Textgenerierung eingesetzt werden.

Das ist die Herangehensweise, die vermutlich die meisten hier getesteten KI-Detektoren verfolgen.

Zum Training solcher wird aktuell primär RoBERTa eingesetzt. Zum generellen Finetuning solcher neuronalen Sprachmodelle kann zum Beispiel Output von GPT-2 verwendet werden.

Dabei erzielen KI-Detektoren laut Crothers et al. oft bessere Ergebnisse, wenn sie zusätzlich für eine bestimmte Nische oder einen bestimmen Anwendungsbereich trainiert werden, z. B. zur Erkennung von Fake News, Twitter-Bots oder Reddit.

6. Watermarking bei KI-Texten

Um zu verhindern, dass KI-Textgeneratoren und KI-Chatbots nicht für kriminelle oder ethisch fragwürdige Zwecke missbraucht werden, kann es sein, dass KI-Text in Zukunft mit Watermarking versehen wird.

Darunter versteht man, dass in den Text bestimmte sprachliche Muster integriert werden, die maschinell erkennbar sind, aber sich nicht durch einfaches Umschreiben entfernen lassen.

Eine vielversprechende Herangehensweise ist zum Beispiel der Adversial Watermarking Transformer (AWT), der von Forschern des CISPA (Helmholtz Center for Information Security) entwickelt wurde.

Auch OpenAI forscht aktuell auch an Watermarking, um KI-Texte zu erkennen, wie man einem Blogartikel von Scott Aaronson, entnehmen kann.