Benchmark

Hur ofta vår AI-kontroll har fel om en människa

Varje AI-detektor ger en självsäker procentsats. Ingen talar om hur ofta den procentsatsen har fel om någon som skrev sitt arbete själv. Det andra talet är det som räknas om du är studenten som anklagas, så det är det vi publicerar, för de språk där vi har mätt det.

Senast mätt: 24 augusti 2026. Varje siffra nedan kommer från ett skript i vårt repository som kan köras om på samma märkta korpusar.

Uppmätta andelar falska positiva

Hur ofta en akademisk text som säkert är skriven av en människa får vårt starkaste utlåtande. Träffsäkerhet är inte en enda siffra: den ändras med språket och dokumentets längd, så vi redovisar fyra profiler i stället för ett genomsnitt som skulle dölja de svaga. Varje andel är en övre gräns på 95 % och inte det observerade antalet: gränsen är vad vi har rätt att påstå, och den är alltid den sämre av de två. Tröskelvärdena i tabellerna ligger på våra interna mätskalor; poängen som visas är samma information på en fast axel, med bärnsten från 20 och rött från 50.

De svagare utlåtandena, som är brusigare

De flesta läsare ser aldrig det starkaste utlåtandet. De ser något av dessa, och felfrekvenserna här är de som faktiskt gäller dem. Det nedre engelska bärnstensbandet är det överlägset brusigaste.

Vad de här siffrorna inte är

• Noll observerade är inte noll. Ingen av de två långa profilerna gav en enda falsk positiv vid den strängaste tröskeln i de råa strukturkorpusarna. Vi publicerar ändå den övre gränsen på 95 % för den urvalsstorleken, eftersom att skriva «0 %» vore just den översäkerhet som den här sidan finns till för att motverka.
• Den engelska korpusen är av fel genre. De dokumenten är tidskriftsartiklar: redigerade, professionella, skrivna av grupper. En studentuppsats är inget av det. Andelen är ärligt mätt på det den säger sig vara mätt på, och de engelska tröskelvärdena ligger kvar tills det finns tillräckligt många studentuppsatser på engelska som andraspråk för att motivera en flytt.
• Kort text har ingen publicerad andel. Den korta profilen gäller ett fönster på några hundra ord, och ingen mänsklig korpus vi har kommer från det fönstret. Andelarna som stod här togs bort den 21 augusti 2026 i stället för att lämnas kvar, eftersom en rimlig siffra utan population bakom fortfarande är ett ogrundat påstående.
• AI-korpusarna är små: ett tjugotal dokument per språk, från två modellfamiljer. En modell vi inte har testat kan bete sig annorlunda.
• Svenska är inte kalibrerad. En svensk text får ett utlåtande som bara bygger på textens struktur, preliminärt, utan något påstående om träffsäkerhet, och får aldrig ett rött utlåtande.

Vad vi mätte på

Varje mänskligt dokument nedan publicerades innan ChatGPT fanns, så frågan om vem som skrev det är ingen bedömningsfråga.

En gång publicerade vi nästan en detektor som var sämre än att singla slant

I en tidig version gav mätningen på 236 arXiv-abstracts från före 2022 en AUC på 0.184. Att singla slant ger 0,50. Detektorn bedömde maskinskriven text som mer mänsklig än text skriven av människor; att vända på resultatet hade gjort den bättre. Och hela tiden hade den gett självsäkra procentsatser.

Orsaken var en familj av mått på ordrikedom (Yules K, MTLD, Zipf-exponenten, hapax legomena), alla åt fel håll och med starka effekter. De bedömer tät mänsklig akademisk prosa som maskinell och lexikalt varierad maskinprosa som mänsklig. Det är samma mekanism som ligger bakom det publicerade resultatet att detektorer felaktigt flaggar en majoritet av dem som skriver på engelska som andraspråk.

I dag väger de måtten noll. De räknas fortfarande ut och visas som ledtrådar, men de flyttar inte poängen. Vi publicerar det eftersom det är det starkaste argument vi har för att mäta: felet var osynligt i resultatet och uppenbart i korpusen, och en detektor som aldrig har gjort det här testet vet inte om den har samma problem.

Vad ingen detektor kan göra

Ingen AI-detektor, inte heller den här, är ett bevis på vem som skrivit en text. Verktygen mäter statistiska egenskaper i texten, och formell, strukturerad mänsklig text eller text på ett andraspråk delar många av dem. En poäng är ett skäl att ställa en fråga, aldrig att dra en slutsats.

Forskare och journalister: korpusarna, utvärderingskoden och kalibreringsverktygen finns alla i repositoryt bakom den här webbplatsen. Om du vill återskapa eller ifrågasätta en siffra på den här sidan, skriv till contact@thesisdraft.com så hjälper vi dig.