¿Recuerdas cuando la mayor amenaza para la integridad académica era un estudiante copiando de Wikipedia? Aquellos eran tiempos más simples. Ahora tenemos a Pangram, una herramienta de detección de IA que se ha convertido en el juez, jurado y verdugo de facto para textos sospechosos de ser escritos por bots, aunque podría estar empeorando las cosas.

Pangram ha estado en el centro de casi todas las acusaciones de escritura con IA de alto perfil últimamente. Señaló una novela de terror retirada días antes de su lanzamiento, sugirió que chatbots escribieron artículos en The New York Times, levantó cejas sobre cuentos premiados, e incluso implicó partes significativas de la encíclica del Papa León XIV sobre los peligros de la IA. Las universidades lo usan para examinar trabajos estudiantiles; las asociaciones científicas escanean artículos de investigación con él. Cuando el pánico por la escritura con IA ataca, Pangram es el botón de pánico al que recurrir.

Hace solo unos años, la detección confiable de IA parecía imposible. En 2023, ZeroGPT declaró que la Constitución de EE. UU. estaba escrita por IA, y OpenAI abandonó su propio detector debido a una 'baja tasa de precisión'. Eso fue cuando la escritura de ChatGPT era notablemente peor. Ahora, las herramientas de detección han mejorado drásticamente, y Pangram ha surgido como el estándar de oro. Pegas texto, y te dice si es 'Generado por IA', 'Asistido por IA' o 'Escrito por humano'.

Pero aquí está el problema con los estándares de oro: todavía pueden empañarse. El CEO de Pangram, Max Spero, afirma que el algoritmo etiqueta incorrectamente texto humano como IA solo una vez cada 10,000 veces. 'Hay una gran responsabilidad, un peso enorme en decir que algo es generado por IA', me dijo Spero. 'La única razón por la que lo hacemos es porque estamos extremadamente seguros'. Análisis independientes lo respaldan: un artículo de la Universidad de Chicago no encontró casi falsos positivos en unas 3,000 muestras de texto.

Sin embargo, la capacidad de Pangram para garantizar que algo fue escrito por un humano es más inestable. La tasa de falsos negativos (con qué frecuencia etiqueta incorrectamente texto de IA como humano) se acerca a una de cada 70, según las propias pruebas de Spero. Y eso es antes de considerar la carrera armamentista con los laboratorios de IA que hacen que los chatbots suenen cada vez más naturales, más los programas 'humanizadores' diseñados explícitamente para disfrazar texto de IA.

Probé uno de esos humanizadores llamado Walter Writes AI. Después de que ChatGPT y Claude escribieran artículos breves, los pasé por la reformulación de Walter. 'Los números ya no son lo suficientemente pequeños como para ignorarlos' de ChatGPT se convirtió en 'La magnitud de estas cifras de uso ya no puede ser ignorada'. Cuando pegué el resultado dos veces cocido en Pangram, invariablemente declaró el texto como escrito por humano. (Divulgación completa: The Atlantic prohíbe el uso de texto generado por IA a menos que se etiquete como tal, y yo no uso IA para investigar).

Un profesor de secundaria pública de la ciudad de Nueva York me dijo que 'ha pasado algunos de los trabajos de sus estudiantes por Pangram, y aparece como 100% humano. Y no creo que lo sea'. Sabe de lo que son capaces sus alumnos y tiene amplias razones para dudar de Pangram. Pero acusar falsamente a un estudiante conlleva grandes riesgos: fracaso o resentimiento. 'Las apuestas son muy altas', dijo el profesor, 'pero nuestra forma de evaluar qué es generado por IA aún está muy poco formada'.

Para complicar aún más las cosas, el funcionamiento interno de Pangram es opaco. El modelo se entrenó alimentándolo con montañas de ejemplos escritos por humanos y por bots: una reseña de libro de una revista, luego una reseña escrita por ChatGPT sobre el mismo libro en el mismo estilo de la revista, hasta que aprende a diferenciarlos. Pero Pangram no puede señalar evidencia o patrones específicos. 'El funcionamiento interno del algoritmo es bastante ininterpretable', admitió Spero. Aunque quiere hacer que la etiqueta 'asistido por IA' de Pangram sea más granular, 'todavía no está seguro de qué tan posible sea'. Corremos el riesgo de acumular dependencia en otro algoritmo de caja negra.

Spero insiste en que Pangram 'nunca debería ser el árbitro final', sino un punto de partida para la investigación, y que la empresa investiga cada error reportado. Señala que los detectores de humo y los escáneres de la TSA también tienen tasas de error base. El mayor problema, argumenta, no está en la tecnología sino en lo que intenta detectar: la IA filtrándose.