Mediciones

Con qué frecuencia nuestro detector se equivoca con un texto humano

Todos los detectores de IA devuelven un porcentaje rotundo. Ninguno te dice con qué frecuencia ese porcentaje se equivoca con alguien que escribió su trabajo por su cuenta. Ese segundo número es el que importa cuando el acusado eres tú — así que es el que publicamos.

Última medición el 24 de agosto de 2026. Cada cifra de abajo sale de un script del repositorio que puede volver a ejecutarse sobre los mismos corpus etiquetados.

Tasas de falsos positivos medidas

La tasa a la que un texto académico que sabemos que escribió una persona recibe nuestro veredicto más fuerte. La precisión no es un solo número: cambia con la lengua y con la longitud del documento, así que informamos de cuatro perfiles en vez de una media que escondería los malos. Cada tasa es una cota superior al 95 % y no el recuento observado — la cota es lo que tenemos derecho a afirmar, y siempre es la peor de las dos. Los umbrales de estas tablas están en nuestras escalas internas de medición; la puntuación mostrada es la misma información en un eje de visualización fijo - el ámbar empieza en 20, el rojo en 50 - con cada umbral medido proyectado exactamente sobre esos anclajes.

Los veredictos más débiles, que tienen más ruido

La mayoría de los lectores nunca ve el veredicto más fuerte. Ve uno de estos, y las tasas de error de aquí son las que de verdad les van a aplicar. La banda inglesa de «probabilidad baja» es con diferencia la peor.

Lo que estos números no son

• Cero observado no es cero. Ninguno de los dos perfiles largos produjo un solo falso positivo en el umbral más fuerte — 0 de 1.412 artículos ingleses, 0 de 866 trabajos alemanes. Aun así publicamos 0,21 % y 0,35 %, porque son las cotas superiores al 95 % para esos tamaños de muestra. Publicar «0 %» sería exactamente la exageración contra la que existe esta página.
• El corpus inglés es del género equivocado. Esos 1.412 documentos son artículos de revista: editados, profesionales, escritos por equipos. Un trabajo de fin de grado no es nada de eso. La tasa está medida honestamente sobre lo que dice estar medida, y los umbrales ingleses se quedan deliberadamente donde están hasta que existan suficientes trabajos en inglés escritos por no nativos como para justificar moverlos. Tenemos 20.
• El texto corto no tiene ninguna tasa publicada. El perfil corto rige una ventana de 300 a 400 palabras, y ningún corpus humano de los que tenemos procede de esa ventana. Las tasas que aparecían aquí para él se retiraron el 21 de agosto de 2026 en vez de dejarse, porque un número verosímil sin población detrás sigue siendo una afirmación infundada.
• Los corpus de IA son pequeños — de 20 a 25 documentos por lengua, de dos familias de modelos. Un modelo que no hayamos probado puede comportarse de otra manera.
• El francés y el español no están calibrados. Devuelven una puntuación y ninguna afirmación de precisión, y nunca emiten un veredicto de alta probabilidad.

Sobre qué hemos medido

Todos los documentos humanos de abajo se publicaron antes de que existiera ChatGPT, así que su autoría no es cuestión de criterio.

Una vez publicamos un detector peor que lanzar una moneda

En una versión temprana, la medición contra 236 resúmenes de arXiv anteriores a 2022 dio un AUC de 0.184. Lanzar una moneda es 0,50. El detector ordenaba el texto escrito por una máquina como más humano que el escrito por una persona; invertir su salida lo habría mejorado. Y todo ese tiempo había estado devolviendo porcentajes rotundos.

La causa era una familia de indicadores de riqueza léxica — la K de Yule, el MTLD, el exponente de Zipf, los hápax — todos funcionando al revés y con tamaños de efecto grandes. Puntúan la prosa académica humana densa como mecánica y la prosa mecánica léxicamente variada como humana. Es el mismo mecanismo que hay detrás del hallazgo publicado de que los detectores marcan erróneamente a la mayoría de quienes escriben en inglés como segunda lengua.

Esos indicadores ahora tienen peso cero. Se siguen calculando y se siguen mostrando como evidencia; simplemente ya no mueven la puntuación. Lo publicamos porque es el argumento más fuerte que tenemos a favor de medir: el fallo era invisible desde la salida y evidente desde el corpus, y cualquier detector que nunca haya hecho esta prueba no sabe si tiene el mismo problema.

Lo que ningún detector puede hacer

Ningún detector de IA, este incluido, es prueba de autoría. Estas herramientas miden propiedades estadísticas del texto, y la escritura humana que es formal, estructurada o de alguien que no escribe en su lengua materna comparte muchas de esas propiedades. Una puntuación es una razón para hacer una pregunta, nunca para dar por cerrada una respuesta. Si se ha usado un detector contra tu trabajo, lo primero que hay que pedir es la tasa de error del detector que se usó — es esa cifra, y no el porcentaje, la que dice cuánto vale el resultado.

Investigadores y periodistas: los corpus, el código de scoring y los bancos de calibración están todos en el repositorio que hay detrás de este sitio. Si quieres reproducir o rebatir cualquier cifra de aquí, escribe a contact@morphica.de y te ayudamos.