Benchmark

Quanto spesso il nostro rilevatore AI sbaglia su una persona

Ogni rilevatore AI restituisce una percentuale sicura di sé. Nessuno ti dice quanto spesso quella percentuale sbaglia su chi ha scritto da sé il proprio lavoro. Questo secondo numero è quello che conta se sei lo studente accusato, quindi è quello che pubblichiamo, per le lingue in cui lo abbiamo misurato.

Ultima misurazione: 24 agosto 2026. Ogni cifra qui sotto viene da uno script nel nostro repository che si può rieseguire sugli stessi corpus etichettati.

Tassi di falsi positivi misurati

La frequenza con cui un testo accademico scritto sicuramente da una persona riceve il nostro verdetto più forte. La precisione non è un numero solo: cambia con la lingua e con la lunghezza del documento, quindi riportiamo quattro profili invece di una media che nasconderebbe quelli deboli. Ogni tasso è un limite superiore al 95% e non il conteggio osservato: il limite è ciò che abbiamo il diritto di affermare, ed è sempre il peggiore dei due. Le soglie in queste tabelle sono sulle nostre scale di misura interne; il punteggio mostrato è la stessa informazione su un asse fisso, con l'ambra da 20 e il rosso da 50.

I verdetti più deboli, che sono più rumorosi

La maggior parte dei lettori non vede mai il verdetto più forte. Vede uno di questi, e i tassi di errore qui sono quelli che lo riguardano davvero. La fascia ambra inferiore inglese è di gran lunga la più rumorosa.

Cosa questi numeri non sono

• Zero osservato non è zero. Nessuno dei due profili lunghi ha prodotto un solo falso positivo alla soglia più severa nei corpus grezzi di struttura. Pubblichiamo comunque il limite superiore al 95% per quella dimensione del campione, perché scrivere «0%» sarebbe proprio l'eccesso di sicurezza contro cui esiste questa pagina.
• Il corpus inglese è del genere sbagliato. Quei documenti sono articoli di rivista: redatti, professionali, scritti da gruppi. Una tesi studentesca non è niente di tutto questo. Il tasso è misurato onestamente su ciò su cui dice di essere misurato, e le soglie inglesi restano dove sono finché non ci saranno abbastanza tesi studentesche in inglese come seconda lingua per giustificarne lo spostamento.
• Il testo breve non ha alcun tasso pubblicato. Il profilo breve riguarda una finestra di poche centinaia di parole, e nessun corpus umano a nostra disposizione proviene da quella finestra. I tassi che comparivano qui sono stati tolti il 21 agosto 2026 invece di lasciarli, perché un numero plausibile senza una popolazione dietro resta un'affermazione infondata.
• I corpus di IA sono piccoli: una ventina di documenti per lingua, da due famiglie di modelli. Un modello che non abbiamo testato può comportarsi diversamente.
• L'italiano non è calibrato. Un testo italiano riceve un verdetto basato sulla sola struttura del testo, provvisorio, senza alcuna affermazione di precisione, e non riceve mai un verdetto rosso.

Su cosa abbiamo misurato

Ogni documento umano qui sotto è stato pubblicato prima che ChatGPT esistesse, quindi la sua paternità non è una questione di giudizio.

Una volta abbiamo quasi pubblicato un rilevatore peggiore del lancio di una moneta

In una prima versione, la misura su 236 abstract arXiv anteriori al 2022 ha dato un'AUC di 0.184. Il lancio di una moneta vale 0,50. Il rilevatore classificava il testo scritto da una macchina come più umano di quello scritto da persone; invertirne il risultato lo avrebbe migliorato. E per tutto il tempo aveva restituito percentuali sicure di sé.

La causa era una famiglia di indicatori di ricchezza lessicale (la K di Yule, MTLD, l'esponente di Zipf, gli hapax legomena), tutti al contrario e con effetti forti. Valutano la prosa accademica umana densa come meccanica e la prosa meccanica lessicalmente varia come umana. È lo stesso meccanismo dietro il risultato pubblicato secondo cui i rilevatori segnalano a torto la maggioranza di chi scrive in inglese come seconda lingua.

Oggi quegli indicatori pesano zero. Vengono ancora calcolati e mostrati come indizi, ma non spostano il punteggio. Lo pubblichiamo perché è l'argomento più forte che abbiamo per misurare: il difetto era invisibile dal risultato ed evidente dal corpus, e un rilevatore che non ha mai fatto questo test non sa se ha lo stesso problema.

Cosa nessun rilevatore può fare

Nessun rilevatore AI, compreso questo, è una prova di paternità. Questi strumenti misurano proprietà statistiche del testo, e la scrittura umana formale, strutturata o in una seconda lingua ne condivide molte. Un punteggio è un motivo per fare una domanda, mai per trarre una conclusione.

Ricercatori e giornalisti: i corpus, il codice di valutazione e gli strumenti di calibrazione sono tutti nel repository dietro questo sito. Se vuoi riprodurre o contestare una cifra di questa pagina, scrivi a contact@thesisdraft.com e ti aiuteremo.