Benchmark

Hvor ofte AI-detektoren vår tar feil om et menneske

Enhver AI-detektor gir en selvsikker prosentsats. Ingen forteller deg hvor ofte den prosentsatsen tar feil om noen som skrev arbeidet sitt selv. Det andre tallet er det som teller hvis du er studenten som blir anklaget, så det er det vi publiserer, for språkene der vi har målt det.

Sist målt: 24. august 2026. Hvert tall nedenfor kommer fra et skript i repositoryet vårt som kan kjøres på nytt på de samme merkede korpusene.

Målte andeler falske positiver

Hvor ofte en akademisk tekst som med sikkerhet er skrevet av et menneske, får vår sterkeste vurdering. Treffsikkerhet er ikke ett tall: den endrer seg med språket og dokumentets lengde, så vi oppgir fire profiler i stedet for et gjennomsnitt som ville skjult de svake. Hver andel er en øvre grense på 95 % og ikke det observerte antallet: grensen er det vi har rett til å påstå, og den er alltid den dårligste av de to. Tersklene i tabellene ligger på de interne måleskalaene våre; poengsummen som vises, er den samme informasjonen på en fast akse, med ravgult fra 20 og rødt fra 50.

De svakere vurderingene, som er mer støyete

De fleste lesere ser aldri den sterkeste vurderingen. De ser en av disse, og feilratene her er de som faktisk gjelder dem. Det nedre engelske ravgule båndet er det klart mest støyete.

Hva disse tallene ikke er

• Null observert er ikke null. Ingen av de to lange profilene ga en eneste falsk positiv ved den strengeste terskelen i de rå strukturkorpusene. Vi publiserer likevel den øvre grensen på 95 % for den utvalgsstørrelsen, fordi å skrive «0 %» ville vært nettopp den overdrevne sikkerheten denne siden finnes for å motvirke.
• Det engelske korpuset er av feil sjanger. De dokumentene er tidsskriftartikler: redigerte, profesjonelle, skrevet av grupper. En studentoppgave er ingenting av det. Andelen er ærlig målt på det den sier den er målt på, og de engelske tersklene blir liggende til det finnes nok studentoppgaver på engelsk som andrespråk til å begrunne en flytting.
• Kort tekst har ingen publisert andel. Den korte profilen gjelder et vindu på noen hundre ord, og ingen menneskelige korpus vi har, kommer fra det vinduet. Andelene som stod her, ble fjernet 21. august 2026 i stedet for å bli stående, fordi et plausibelt tall uten en populasjon bak fortsatt er en ubegrunnet påstand.
• AI-korpusene er små: rundt tjue dokumenter per språk, fra to modellfamilier. En modell vi ikke har testet, kan oppføre seg annerledes.
• Norsk er ikke kalibrert. En norsk tekst får en vurdering som bare bygger på tekstens struktur, foreløpig, uten noen påstand om treffsikkerhet, og får aldri en rød vurdering.

Hva vi målte på

Hvert menneskelige dokument nedenfor ble publisert før ChatGPT fantes, så spørsmålet om hvem som skrev det, er ikke et skjønn.

En gang publiserte vi nesten en detektor som var dårligere enn å kaste mynt

I en tidlig versjon ga målingen på 236 arXiv-sammendrag fra før 2022 en AUC på 0.184. Å kaste mynt gir 0,50. Detektoren vurderte maskinskrevet tekst som mer menneskelig enn tekst skrevet av mennesker; å snu resultatet ville gjort den bedre. Og hele tiden hadde den gitt selvsikre prosentsatser.

Årsaken var en familie av mål på ordrikdom (Yules K, MTLD, Zipf-eksponenten, hapax legomena), alle i feil retning og med sterke effekter. De vurderer tett menneskelig akademisk prosa som maskinell og leksikalsk variert maskinprosa som menneskelig. Det er den samme mekanismen som ligger bak det publiserte resultatet om at detektorer feilaktig flagger et flertall av dem som skriver på engelsk som andrespråk.

I dag veier de målene null. De blir fortsatt beregnet og vist som spor, men de flytter ikke poengsummen. Vi publiserer det fordi det er det sterkeste argumentet vi har for å måle: feilen var usynlig i resultatet og tydelig i korpuset, og en detektor som aldri har tatt denne testen, vet ikke om den har det samme problemet.

Hva ingen detektor kan gjøre

Ingen AI-detektor, heller ikke denne, er et bevis på hvem som har skrevet en tekst. Verktøyene måler statistiske egenskaper ved teksten, og formell, strukturert menneskelig tekst eller tekst på et andrespråk deler mange av dem. En poengsum er en grunn til å stille et spørsmål, aldri til å trekke en konklusjon.

Forskere og journalister: korpusene, evalueringskoden og kalibreringsverktøyene ligger alle i repositoryet bak dette nettstedet. Hvis du vil gjenskape eller utfordre et tall på denne siden, skriv til contact@thesisdraft.com, så hjelper vi deg.