¿Funcionan los detectores de texto generado? Lo que muestra la evidencia

¿Funcionan los detectores de texto generado? No lo bastante como para demostrar que alguien ha usado un chatbot. OpenAI retiró su propio detector en 2023 por su baja precisión. Un estudio revisado por pares vio que siete detectores populares marcaban como escritos por un modelo, de media, el 61 % de los textos de personas que no tienen el inglés como lengua materna, y una prueba de 14 herramientas concluyó que no eran ni precisas ni fiables. Turnitin, muy usado en universidades, dice que sus falsos positivos bajan del 1 % solo en documentos que considera escritos en más de un 20 % por un modelo, y que rondan el 4 % frase a frase. Para quien escribe en español hay un aviso más: casi toda la evidencia es en inglés, y OpenAI reconocía que su detector funcionaba bastante peor en otros idiomas. Esta guía resume lo que dicen los estudios, por qué fallan estas herramientas y qué hacer si eres docente, estudiante o publicas contenido. No hemos probado ningún detector nosotros: las cifras salen de los estudios y fabricantes citados.

Lo que dice la evidencia, en una tabla

Tabla: lo que publican estudios y fabricantes sobre los detectores de texto generado por un modelo

Por qué fallan los detectores de texto generado

Un modelo de lenguaje escribe eligiendo las palabras siguientes más probables, como explica nuestra guía sobre qué es un LLM. Muchos detectores miden lo predecible que es un texto (su perplejidad, en la jerga), y ahí está el problema: muchas personas también escriben de forma predecible.

El estudio de Liang lo muestra con claridad. Las redacciones de los no nativos se marcaban por su expresión lingüística más limitada: menos vocabulario y frases más simples. Cuando los investigadores pidieron a ChatGPT solo que mejorase la elección de palabras para que sonaran como las de un nativo, la tasa media de falsos positivos en esas mismas redacciones bajó del 61,22 % al 11,77 %. De las 91 redacciones, 89 fueron marcadas por al menos un detector y 18 por los siete. Los autores desaconsejan usar estos detectores para evaluar o en la enseñanza.

OpenAI enumeró los mismos límites de su herramienta. Era muy poco fiable con textos cortos (menos de 1.000 caracteres), solo la recomendaba para inglés porque en otros idiomas funcionaba bastante peor, fallaba con código y no podía juzgar textos predecibles por naturaleza: es imposible saber si una lista de los primeros 1.000 números primos la escribió un modelo o una persona. También avisó de que el texto generado se puede editar para esquivar el detector.

Eso corta por los dos lados. El equipo de Weber-Wulff comprobó que las técnicas de ofuscación empeoran mucho la detección, así que quien quiere hacer trampa a menudo pasa, mientras que quien escribe con un estilo sencillo y honesto sale marcado.

Las cifras de Turnitin, leídas con calma

Turnitin publica más detalle que la mayoría, y sus propias cifras muestran dónde está el riesgo. En marzo de 2023 dijo que buscaba una tasa de falsos positivos inferior al 1 %, pero reconoció que seguía habiendo un pequeño riesgo. En mayo de 2023, tras probar 800.000 documentos escritos antes de que existiera ChatGPT, informó de esto:

• Documentos con más del 20 % de texto generado: falsos positivos por documento por debajo del 1 %.
• Documentos por debajo del 20 %: más falsos positivos, así que ahora muestra un asterisco en lugar de una puntuación fiable.
• Frases sueltas: una tasa de falsos positivos de alrededor del 4 %.
• Textos cortos: la longitud mínima subió de 150 a 300 palabras.

Un 1 % parece poco, pero se aplica a cada trabajo honesto que se entrega. La propia Turnitin dice a los docentes que, como su tasa de falsos positivos no es cero, tienen que aplicar su criterio profesional.

Qué hacer con una puntuación de un detector

• Si das clase: toma la puntuación como un motivo para hablar, nunca como prueba. OpenAI decía que su detector no debía usarse como herramienta principal de decisión. Compara el trabajo con lo que el alumno ha escrito antes, pregúntale por su proceso y conoce la normativa de tu centro antes de actuar.
• Si te acusan: pregunta qué herramienta se usó y qué puntuación dio, señala las tasas de error documentadas arriba y enseña tu proceso: borradores, notas, fuentes y el historial de versiones del documento.
• Si publicas: la detección no es la forma de acreditar de dónde sale un contenido. La respuesta europea es la procedencia: el artículo 50 del Reglamento (UE) 2024/1689 obliga a los proveedores de modelos generativos a marcar sus resultados en un formato legible por máquina que permita detectar que son artificiales. Nuestra guía sobre el artículo 50 explica quién debe etiquetar qué y cuándo.

En resumen

Los detectores a veces aciertan con texto generado sin editar, pero la evidencia muestra que marcan escritura humana, sobre todo de quien escribe en una lengua que no es la suya, y que se les escapa el texto generado retocado. Si una decisión afecta a la nota o al trabajo de alguien, la puntuación de un detector nunca debería ser la única prueba. Para el problema vecino, respuestas de un modelo que suenan bien pero son falsas, mira nuestra guía sobre las alucinaciones de los modelos, y para entender cómo elige palabras un modelo, qué es un token.