Benchmark

Hoe vaak onze AI-detector het fout heeft over een mens

Elke AI-detector geeft een zelfverzekerd percentage. Geen enkele vertelt je hoe vaak dat percentage fout zit bij iemand die het werk zelf schreef. Dat tweede getal telt als jij de beschuldigde student bent, dus dat is het getal dat wij publiceren, voor de talen waarin we het gemeten hebben.

Laatst gemeten: 24 augustus 2026. Elk getal hieronder komt uit een script in onze repository dat opnieuw kan worden uitgevoerd op dezelfde gelabelde corpora.

Gemeten fout-positieve percentages

Hoe vaak een academische tekst die aantoonbaar door een mens geschreven is ons sterkste oordeel krijgt. Nauwkeurigheid is niet één getal: ze verandert met de taal en de lengte van het document, dus we rapporteren vier profielen in plaats van een gemiddelde dat de zwakke zou verbergen. Elk percentage is een 95%-bovengrens en niet het waargenomen aantal: de grens is wat we mogen beweren, en het is altijd de slechtste van de twee. De drempels in deze tabellen staan op onze interne meetschalen; de getoonde score is dezelfde informatie op een vaste as, met oranje vanaf 20 en rood vanaf 50.

De zwakkere oordelen, die meer ruis bevatten

De meeste lezers zien het sterkste oordeel nooit. Ze zien een van deze, en de foutpercentages hier zijn degene die hen echt aangaan. De onderste Engelse oranje band bevat verreweg de meeste ruis.

Wat deze getallen niet zijn

• Nul waargenomen is geen nul. Geen van beide lange profielen gaf bij de strengste drempel ook maar één fout-positief in de ruwe structuurcorpora. We publiceren toch de 95%-bovengrens voor die steekproefomvang, want «0%» schrijven zou precies de overmoed zijn waartegen deze pagina bestaat.
• Het Engelse corpus is van het verkeerde genre. Die documenten zijn tijdschriftartikelen: geredigeerd, professioneel, door teams geschreven. Een studentenscriptie is niets van dat alles. Het percentage is eerlijk gemeten op waarop het zegt gemeten te zijn, en de Engelse drempels blijven waar ze staan tot er genoeg scripties van studenten met Engels als tweede taal zijn om ze te verschuiven.
• Korte tekst heeft geen gepubliceerd percentage. Het korte profiel gaat over een venster van een paar honderd woorden, en geen menselijk corpus dat we hebben komt uit dat venster. De percentages die hier stonden zijn op 21 augustus 2026 weggehaald in plaats van te blijven staan, want een plausibel getal zonder populatie erachter blijft een ongefundeerde bewering.
• De AI-corpora zijn klein: ongeveer twintig documenten per taal, uit twee modelfamilies. Een model dat we niet getest hebben kan zich anders gedragen.
• Het Nederlands is niet gekalibreerd. Een Nederlandse tekst krijgt een oordeel dat alleen op de structuur van de tekst is gebaseerd, voorlopig, zonder enige nauwkeurigheidsclaim, en krijgt nooit een rood oordeel.

Waarop we gemeten hebben

Elk menselijk document hieronder is gepubliceerd voordat ChatGPT bestond, dus het auteurschap is geen kwestie van inschatting.

We hebben ooit bijna een detector gepubliceerd die slechter was dan een muntworp

In een vroege versie gaf de meting op 236 arXiv-samenvattingen van vóór 2022 een AUC van 0.184. Een muntworp is 0,50. De detector rangschikte door een machine geschreven tekst als menselijker dan tekst van mensen; de uitkomst omdraaien had hem beter gemaakt. En al die tijd gaf hij zelfverzekerde percentages.

De oorzaak was een familie van indicatoren voor lexicale rijkdom (Yules K, MTLD, de Zipf-exponent, hapax legomena), allemaal omgekeerd en met sterke effecten. Ze beoordelen dicht menselijk academisch proza als machinaal en lexicaal gevarieerd machinaal proza als menselijk. Het is hetzelfde mechanisme achter het gepubliceerde resultaat dat detectoren het merendeel van de schrijvers met Engels als tweede taal ten onrechte markeren.

Vandaag wegen die indicatoren nul. Ze worden nog berekend en als aanwijzing getoond, maar ze bewegen de score niet. We publiceren dit omdat het het sterkste argument is dat we hebben om te meten: de fout was onzichtbaar in de uitkomst en duidelijk in het corpus, en een detector die deze test nooit deed, weet niet of hij hetzelfde probleem heeft.

Wat geen enkele detector kan

Geen enkele AI-detector, ook deze niet, is een bewijs van auteurschap. Deze instrumenten meten statistische eigenschappen van tekst, en formeel, gestructureerd of in een tweede taal geschreven menselijk werk deelt er veel van. Een score is een reden om een vraag te stellen, nooit om een conclusie te trekken.

Onderzoekers en journalisten: de corpora, de evaluatiecode en de kalibratie-instrumenten staan allemaal in de repository achter deze site. Wil je een getal op deze pagina reproduceren of betwisten, mail dan naar contact@thesisdraft.com en we helpen je.