Benchmark

Wie oft sich unser KI-Detektor bei einem Menschen irrt

Jeder KI-Detektor gibt einen selbstsicheren Prozentwert zurück. Keiner sagt dir, wie oft dieser Prozentwert bei jemandem falsch liegt, der seine Arbeit selbst geschrieben hat. Diese zweite Zahl ist die entscheidende, wenn du der beschuldigte Student bist — deshalb veröffentlichen wir sie.

Zuletzt gemessen am 24. August 2026. Jede Zahl unten stammt aus einem Skript im Repository, das gegen dieselben gelabelten Korpora erneut laufen kann.

Gemessene Falsch-Positiv-Raten

Die Rate, mit der nachweislich menschlich geschriebene wissenschaftliche Texte unser stärkstes Urteil bekommen. Genauigkeit ist keine einzelne Zahl: Sie ändert sich mit der Sprache und mit der Textlänge, deshalb berichten wir vier Profile statt eines Mittelwerts, der die schwachen verstecken würde. Jede Rate ist eine 95-%-Obergrenze und nicht die beobachtete Anzahl — die Obergrenze ist das, was wir behaupten dürfen, und sie ist immer die schlechtere der beiden. Die Schwellen in diesen Tabellen liegen auf unseren internen Messskalen; der angezeigte Wert ist dieselbe Information auf einer festen Anzeigeskala - Gelb beginnt bei 20, Rot bei 50 - wobei jede gemessene Schwelle exakt auf diese Anker abgebildet wird.

Die schwächeren Urteile, die verrauschter sind

Die meisten Leser sehen das stärkste Urteil nie. Sie sehen eines von diesen, und die Fehlerraten hier sind die, die für sie tatsächlich gelten. Das englische Band „geringe Wahrscheinlichkeit“ ist mit Abstand das schlechteste davon.

Was diese Zahlen nicht sind

• Null beobachtet ist nicht null. Keines der beiden Langtext-Profile hat an der stärksten Schwelle auch nur einen Falsch-Positiv erzeugt — 0 von 1.412 englischen Papern, 0 von 866 deutschen Arbeiten. Wir veröffentlichen trotzdem 0,21 % und 0,35 %, weil das die 95-%-Obergrenzen bei diesen Stichprobengrößen sind. „0 %“ zu veröffentlichen wäre genau die Übertreibung, gegen die es diese Seite gibt.
• Das englische Korpus hat die falsche Textsorte. Diese 1.412 Dokumente sind Zeitschriftenartikel: lektoriert, professionell, von Teams geschrieben. Eine studentische Abschlussarbeit ist nichts davon. Die Rate ist ehrlich an dem gemessen, woran sie laut Angabe gemessen wurde, und die englischen Schwellen bleiben bewusst, wo sie sind, bis genug englischsprachige Abschlussarbeiten von Zweitsprachlern vorliegen, um sie zu verschieben. Wir haben 20.
• Für kurze Texte gibt es überhaupt keine veröffentlichte Rate. Das Kurzprofil regelt ein Fenster von 300-400 Wörtern, und kein menschliches Korpus, das wir halten, stammt aus diesem Fenster. Die Raten, die hier dafür standen, wurden am 21. August 2026 entfernt statt stehen gelassen, weil eine plausible Zahl ohne Population dahinter trotzdem eine unbelegte Behauptung ist.
• Die KI-Korpora sind klein — 20 bis 25 Dokumente pro Sprache, aus zwei Modellfamilien. Ein Modell, das wir nicht getestet haben, kann sich anders verhalten.
• Französisch und Spanisch sind nicht kalibriert. Sie geben einen Wert zurück und keine Genauigkeitsaussage, und sie geben nie ein Urteil „hohe Wahrscheinlichkeit“ aus.

Woran wir gemessen haben

Jedes menschliche Dokument unten wurde veröffentlicht, bevor es ChatGPT gab — seine Urheberschaft ist also keine Ermessensfrage.

Wir hatten einmal einen Detektor ausgeliefert, der schlechter war als eine Münze

In einer frühen Version ergab die Messung gegen 236 arXiv-Abstracts vor 2022 eine AUC von 0.184. Eine Münze liegt bei 0,50. Der Detektor stufte maschinell geschriebenen Text als menschlicher ein als menschlich geschriebenen; seine Ausgabe umzudrehen hätte ihn verbessert. Die ganze Zeit über hatte er selbstsichere Prozentwerte zurückgegeben.

Die Ursache war eine Familie von Merkmalen zur lexikalischen Vielfalt — Yules K, MTLD, der Zipf-Exponent, Hapax legomena — die alle mit großen Effektstärken verkehrt herum liefen. Sie bewerten dichte menschliche Wissenschaftsprosa als maschinell und lexikalisch abwechslungsreiche Maschinenprosa als menschlich. Das ist derselbe Mechanismus hinter dem publizierten Befund, dass Detektoren eine Mehrheit der nicht-muttersprachlichen englischen Schreibenden fälschlich markieren.

Diese Merkmale haben jetzt das Gewicht null. Sie werden weiterhin berechnet und weiterhin als Evidenz angezeigt; sie bewegen den Wert nur nicht mehr. Wir veröffentlichen das, weil es unser stärkstes Argument fürs Messen ist: Der Fehler war an der Ausgabe unsichtbar und am Korpus offensichtlich, und jeder Detektor, der diesen Test nie gemacht hat, weiß nicht, ob er dasselbe Problem hat.

Was kein Detektor kann

Kein KI-Detektor, auch dieser nicht, ist ein Nachweis der Urheberschaft. Diese Werkzeuge messen statistische Eigenschaften von Text, und menschliches Schreiben, das formell oder stark strukturiert ist oder von einem Zweitsprachler stammt, teilt viele dieser Eigenschaften. Ein Wert ist ein Anlass, eine Frage zu stellen, nie ein Grund, eine Antwort zu schließen. Wenn ein Detektor gegen deine Arbeit eingesetzt wurde: Unser Ratgeber zu einem KI-Detektor, der bei selbst geschriebenem Text ausschlägt beschreibt, wie du reagierst.

Forschende und Journalistinnen: Die Korpora, der Scoring-Code und die Kalibrierungs-Harnesses liegen alle im Repository hinter dieser Seite. Wenn Sie eine Zahl hier reproduzieren oder anfechten wollen, schreiben Sie an contact@morphica.de — wir helfen.