Benchmark

Com que frequência o nosso detector de IA erra sobre uma pessoa

Todos os detectores de IA devolvem uma percentagem confiante. Nenhum te diz com que frequência essa percentagem erra sobre quem escreveu o próprio trabalho. Esse segundo número é o que importa se fores o estudante acusado, por isso é esse que publicamos, nas línguas em que o medimos.

Última medição: 24 de agosto de 2026. Cada número abaixo vem de um script no nosso repositório que pode ser executado de novo sobre os mesmos corpora etiquetados.

Taxas de falsos positivos medidas

A frequência com que um texto académico escrito comprovadamente por uma pessoa recebe o nosso veredicto mais forte. A precisão não é um número único: muda com a língua e com o comprimento do documento, por isso indicamos quatro perfis em vez de uma média que esconderia os mais fracos. Cada taxa é um limite superior a 95% e não a contagem observada: o limite é o que temos direito a afirmar, e é sempre o pior dos dois. Os limiares destas tabelas estão nas nossas escalas internas de medição; a pontuação mostrada é a mesma informação num eixo fixo, com o âmbar a partir de 20 e o vermelho a partir de 50.

Os veredictos mais fracos, que são mais ruidosos

A maioria dos leitores nunca vê o veredicto mais forte. Vê um destes, e as taxas de erro aqui são as que realmente lhe dizem respeito. A faixa âmbar inferior inglesa é de longe a mais ruidosa.

O que estes números não são

• Zero observado não é zero. Nenhum dos dois perfis longos produziu um único falso positivo no limiar mais rigoroso nos corpora brutos de estrutura. Publicamos mesmo assim o limite superior a 95% para essa dimensão de amostra, porque escrever «0%» seria precisamente o excesso de confiança contra o qual esta página existe.
• O corpus inglês é do género errado. Esses documentos são artigos de revista: editados, profissionais, escritos por equipas. Uma tese de estudante não é nada disso. A taxa é medida honestamente sobre aquilo em que diz ser medida, e os limiares ingleses ficam onde estão até haver teses de estudantes em inglês como segunda língua suficientes para justificar movê-los.
• O texto curto não tem nenhuma taxa publicada. O perfil curto diz respeito a uma janela de poucas centenas de palavras, e nenhum corpus humano de que dispomos vem dessa janela. As taxas que apareciam aqui foram retiradas a 21 de agosto de 2026 em vez de as deixar ficar, porque um número plausível sem população por trás continua a ser uma afirmação infundada.
• Os corpora de IA são pequenos: cerca de vinte documentos por língua, de duas famílias de modelos. Um modelo que não testámos pode comportar-se de forma diferente.
• O português não está calibrado. Um texto português recebe um veredicto baseado apenas na estrutura do texto, provisório, sem qualquer afirmação de precisão, e nunca recebe um veredicto vermelho.

Em que medimos

Cada documento humano abaixo foi publicado antes de o ChatGPT existir, por isso a sua autoria não é uma questão de opinião.

Uma vez quase publicámos um detector pior do que atirar uma moeda ao ar

Numa primeira versão, a medição em 236 resumos arXiv anteriores a 2022 deu uma AUC de 0.184. Atirar uma moeda ao ar vale 0,50. O detector classificava o texto escrito por uma máquina como mais humano do que o escrito por pessoas; inverter o resultado tê-lo-ia melhorado. E durante todo esse tempo devolveu percentagens confiantes.

A causa era uma família de indicadores de riqueza lexical (o K de Yule, MTLD, o expoente de Zipf, os hapax legomena), todos ao contrário e com efeitos fortes. Avaliam a prosa académica humana densa como mecânica e a prosa mecânica lexicalmente variada como humana. É o mesmo mecanismo por trás do resultado publicado segundo o qual os detectores assinalam por engano a maioria de quem escreve em inglês como segunda língua.

Hoje esses indicadores pesam zero. Continuam a ser calculados e mostrados como indícios, mas não mexem na pontuação. Publicamos isto porque é o argumento mais forte que temos para medir: o defeito era invisível no resultado e evidente no corpus, e um detector que nunca fez este teste não sabe se tem o mesmo problema.

O que nenhum detector consegue fazer

Nenhum detector de IA, incluindo este, é uma prova de autoria. Estas ferramentas medem propriedades estatísticas do texto, e a escrita humana formal, estruturada ou numa segunda língua partilha muitas delas. Uma pontuação é um motivo para fazer uma pergunta, nunca para tirar uma conclusão.

Investigadores e jornalistas: os corpora, o código de avaliação e as ferramentas de calibração estão todos no repositório por trás deste site. Se quiseres reproduzir ou contestar um número desta página, escreve para contact@thesisdraft.com e ajudamos-te.