En lo que solo puede describirse como el equivalente académico de dejar caer un piano sobre la cabeza de alguien y luego pedirle que revise la partitura, OpenAI lanzó esta semana casi 400 resultados matemáticos generados por IA repartidos en más de 700 manuscritos. La reacción de la comunidad matemática osciló entre "asombroso" y "pura locura", y esos fueron los educados.

La colección abarca combinatoria, varias ramas de la geometría, teoría de números, informática teórica, álgebra, topología, probabilidad y mecánica estadística, y física matemática. Es tan vasta que OpenAI se sintió obligada a publicar una guía sobre cómo navegar el extenso repositorio de GitHub, lo cual es un poco como entregarle a alguien un mapa de un edificio que acabas de incendiar.

"Solo revisar toda la lista de resúmenes es abrumador", dijo Álvaro Lozano-Robledo, profesor de matemáticas en la Universidad de Connecticut. Varios matemáticos dijeron a The Verge que simplemente hojear el índice y los resúmenes de unas 40 páginas les llevó la mayor parte de una hora. Para los que llevan la cuenta en casa, eso es una hora solo para leer el menú.

Entre los cientos de manuscritos hay formalizaciones en Lean, un lenguaje de programación y asistente de pruebas que permite verificar resultados computacionalmente. Estas formalizaciones han sido fundamentales para evaluar algunas de las afirmaciones matemáticas previas de OpenAI, dando a los investigadores la confianza de que una afirmación es lógicamente correcta incluso si no comprenden del todo el argumento que la sustenta, lo cual es un poco como confiar en una calculadora sin saber qué es la división.

Pero el grado de verificación de cada resultado variaba enormemente. En GitHub, OpenAI reconoció que los resultados están "en diferentes etapas de verificación" y que "muchos, pero no todos, de los manuscritos han sido formalizados". Al momento de escribir esto, menos de la mitad de los manuscritos de la colección parecen haber sido descritos formalmente. OpenAI dijo que solo 300 resultados principales de 719 manuscritos habían sido formalizados, alrededor del 42%, y que "actualizará el repositorio con más formalizaciones a medida que las obtengamos". Así que, aproximadamente el 58% del apocalipsis matemático permanece sin verificar. Duerme tranquilo.

Varios matemáticos se quejaron a The Verge de la falta de formalización, especialmente dado el enorme número de resultados. Incluso cuando el código Lean acompaña a un resultado, la evaluación no es instantánea. Los investigadores deben comprobar que la formalización realmente demuestra lo que el resultado afirma, otro proceso que consume tiempo. Varios que examinaron los artículos dijeron que incluso cuando se proporcionaron pruebas verificables por computadora, la calidad era inconsistente y las afirmaciones que verificaban no siempre parecían corresponder claramente con las afirmaciones de los manuscritos adjuntos.

Kevin Buzzard, profesor de matemáticas en el Imperial College de Londres, dijo que había identificado numerosos teoremas en su área de trabajo, la teoría algebraica de números, de los cuales solo alrededor de seis inmediatamente "destacaron". Pocos, si es que alguno, de esos parecían estar verificados formalmente en Lean. "Por lo tanto, o tengo que leer basura posiblemente incorrecta, o esperar a que otros hagan lo mismo, o esperar a que alguien los formalice antes de poder decir con certeza que los resultados son siquiera correctos". Las preocupaciones de Buzzard fueron repetidas por numerosos otros investigadores, quienes presumiblemente tenían otras cosas que hacer esta semana.

Buzzard no fue el único en preocuparse por la "basura" de la IA, un término para material generado por IA de baja calidad y frecuentemente erróneo que cada vez aparece más en línea y en el mundo real, incluidos los artículos académicos. Como en otros campos, los matemáticos dijeron a The Verge que han visto un enorme aumento de dicho material producido con herramientas como ChatGPT y Claude en los últimos años. Gran parte es confuso, difícil de leer y demuestra poca comprensión del tema; es especialmente deficiente a la hora de dar crédito a otros investigadores. Los escritos matemáticos previos de OpenAI fueron ampliamente criticados por expertos por