Benchmark

Cât de des greșește detectorul nostru AI în privința unui om

Orice detector AI îți dă un procent sigur pe el. Niciunul nu îți spune cât de des acel procent greșește în privința cuiva care și-a scris singur lucrarea. Al doilea număr este cel care contează dacă tu ești studentul acuzat, așa că pe acela îl publicăm, pentru limbile în care l-am măsurat.

Ultima măsurare: 24 august 2026. Fiecare cifră de mai jos provine dintr-un script din depozitul nostru care poate fi rulat din nou pe aceleași corpusuri etichetate.

Rate de fals pozitive măsurate

Cât de des un text academic scris sigur de un om primește verdictul nostru cel mai puternic. Precizia nu este un singur număr: se schimbă cu limba și cu lungimea documentului, așa că raportăm patru profiluri în loc de o medie care le-ar ascunde pe cele slabe. Fiecare rată este o limită superioară de 95% și nu numărul observat: limita este ce avem dreptul să afirmăm, și este mereu cea mai proastă dintre cele două. Pragurile din aceste tabele sunt pe scalele noastre interne de măsurare; scorul afișat este aceeași informație pe o axă fixă, cu chihlimbar de la 20 și roșu de la 50.

Verdictele mai slabe, care sunt mai zgomotoase

Majoritatea cititorilor nu văd niciodată verdictul cel mai puternic. Văd unul dintre acestea, iar ratele de eroare de aici sunt cele care îi privesc cu adevărat. Banda chihlimbar inferioară în engleză este de departe cea mai zgomotoasă.

Ce nu sunt aceste numere

• Zero observat nu înseamnă zero. Niciunul dintre cele două profiluri lungi nu a produs vreun fals pozitiv la pragul cel mai strict în corpusurile brute de structură. Publicăm totuși limita superioară de 95% pentru acea mărime de eșantion, pentru că a scrie «0%» ar fi exact excesul de încredere împotriva căruia există această pagină.
• Corpusul englez este din genul greșit. Acele documente sunt articole de revistă: redactate, profesioniste, scrise în echipă. O lucrare de student nu este nimic din toate acestea. Rata este măsurată cinstit pe ce spune că e măsurată, iar pragurile englezești rămân unde sunt până când vor exista destule lucrări de studenți scrise în engleză ca a doua limbă ca să justifice mutarea lor.
• Textul scurt nu are nicio rată publicată. Profilul scurt privește o fereastră de câteva sute de cuvinte, iar niciun corpus uman de care dispunem nu provine din acea fereastră. Ratele care apăreau aici au fost scoase pe 21 august 2026 în loc să fie lăsate, pentru că un număr plauzibil fără o populație în spate rămâne o afirmație nefondată.
• Corpusurile de AI sunt mici: în jur de douăzeci de documente pe limbă, din două familii de modele. Un model pe care nu l-am testat se poate comporta altfel.
• Româna nu este calibrată. Un text în română primește un verdict bazat doar pe structura textului, provizoriu, fără nicio afirmație de precizie, și nu primește niciodată un verdict roșu.

Pe ce am măsurat

Fiecare document uman de mai jos a fost publicat înainte să existe ChatGPT, așa că paternitatea lui nu este o chestiune de apreciere.

Odată aproape că am publicat un detector mai slab decât aruncarea unei monede

Într-o primă versiune, măsurarea pe 236 de rezumate arXiv dinainte de 2022 a dat un AUC de 0.184. Aruncarea unei monede valorează 0,50. Detectorul clasa textul scris de mașină drept mai uman decât cel scris de oameni; inversarea rezultatului l-ar fi îmbunătățit. Și în tot acest timp a dat procente sigure pe ele.

Cauza era o familie de indicatori de bogăție lexicală (K-ul lui Yule, MTLD, exponentul Zipf, hapax legomena), toți inversați și cu efecte puternice. Ei evaluează proza academică umană densă ca mecanică și proza mecanică variată lexical ca umană. Este același mecanism din spatele rezultatului publicat potrivit căruia detectoarele semnalează greșit majoritatea celor care scriu în engleză ca a doua limbă.

Astăzi acești indicatori au pondere zero. Sunt în continuare calculați și afișați ca indicii, dar nu mișcă scorul. Publicăm asta pentru că este cel mai puternic argument pe care îl avem pentru măsurare: defectul era invizibil din rezultat și evident din corpus, iar un detector care n-a făcut niciodată acest test nu știe dacă are aceeași problemă.

Ce nu poate face niciun detector

Niciun detector AI, inclusiv acesta, nu este o dovadă de paternitate. Aceste instrumente măsoară proprietăți statistice ale textului, iar scrisul uman formal, structurat sau într-o a doua limbă are multe dintre ele. Un scor este un motiv să pui o întrebare, niciodată să tragi o concluzie.

Cercetători și jurnaliști: corpusurile, codul de evaluare și instrumentele de calibrare sunt toate în depozitul din spatele acestui site. Dacă vrei să reproduci sau să contești o cifră de pe această pagină, scrie la contact@thesisdraft.com și te ajutăm.