Dans ce qui ne peut être décrit que comme l'équivalent académique de faire tomber un piano sur la tête de quelqu'un, puis de lui demander de relire la partition, OpenAI a publié cette semaine près de 400 résultats mathématiques générés par IA, répartis sur plus de 700 manuscrits. La réaction de la communauté mathématique a oscillé entre « stupéfiant » et « pure folie » – et c'étaient les plus polis.

La collection couvre la combinatoire, plusieurs branches de la géométrie, la théorie des nombres, l'informatique théorique, l'algèbre, la topologie, les probabilités et la mécanique statistique, ainsi que la physique mathématique. C'est si vaste qu'OpenAI s'est senti obligé de publier un guide sur la façon de naviguer dans l'immense dépôt GitHub, ce qui est un peu comme remettre à quelqu'un une carte d'un bâtiment que vous venez d'incendier.

« Rien que de parcourir la liste entière des résumés est accablant », a déclaré Álvaro Lozano-Robledo, professeur de mathématiques à l'Université du Connecticut. Plusieurs mathématiciens ont confié à The Verge que le simple fait de parcourir la table des matières et les résumés d'environ 40 pages leur a pris la majeure partie d'une heure. Pour ceux qui comptent, cela fait une heure juste pour lire le menu.

Parmi les centaines de manuscrits, on trouve des formalisations en Lean, un langage de programmation et assistant de preuve qui permet de vérifier les résultats par ordinateur. Ces formalisations se sont avérées déterminantes pour évaluer certaines des précédentes affirmations mathématiques d'OpenAI, donnant aux chercheurs la confiance qu'une affirmation est logiquement correcte même s'ils ne comprennent pas pleinement l'argument qui la sous-tend – ce qui revient à faire confiance à une calculatrice sans savoir ce qu'est la division.

Mais le degré de vérification de chaque résultat variait énormément. Sur GitHub, OpenAI a reconnu que les résultats sont « à différents stades de vérification » et que « beaucoup, mais pas tous, des manuscrits ont été formalisés ». Au moment d'écrire ces lignes, moins de la moitié des manuscrits de la collection semblent avoir été décrits formellement. OpenAI a déclaré que seulement 300 résultats phares sur 719 manuscrits avaient été formalisés – environ 42 % – et qu'il « mettra à jour le dépôt avec davantage de formalisations au fur et à mesure que nous les obtiendrons ». Donc, environ 58 % de l'apocalypse mathématique reste non vérifiée. Dormez bien.

Plusieurs mathématiciens se sont plaints à The Verge du manque de formalisation, en particulier compte tenu du nombre considérable de résultats. Même lorsqu'un code Lean accompagne un résultat, l'évaluation n'est pas instantanée. Les chercheurs doivent vérifier que la formalisation prouve réellement ce que le résultat prétend – un autre processus chronophage. Plusieurs personnes épluchant les articles ont déclaré que même lorsque des preuves vérifiables par ordinateur avaient été fournies, la qualité était inégale et les énoncés qu'elles vérifiaient ne correspondaient pas toujours parfaitement aux affirmations des manuscrits d'accompagnement.

Kevin Buzzard, professeur de mathématiques à l'Imperial College de Londres, a déclaré avoir identifié de nombreux théorèmes dans son domaine – la théorie algébrique des nombres – dont seulement environ six se sont immédiatement « démarqués ». Peu, voire aucun, ne semblaient être formellement vérifiés en Lean. « Par conséquent, je dois soit lire du charabia potentiellement incorrect, soit attendre que d'autres le fassent, soit attendre que quelqu'un les formalise avant de pouvoir dire avec certitude que les résultats sont même corrects. » Les inquiétudes de Buzzard ont été reprises par de nombreux autres chercheurs, qui avaient sans doute d'autres choses à faire cette semaine.

Buzzard était loin d'être le seul à s'inquiéter du « slop » de l'IA – un terme désignant le matériel généré par IA de faible qualité et souvent erroné qui surgit de plus en plus en ligne et dans le monde réel, y compris dans les articles universitaires. Comme dans d'autres domaines, des mathématiciens ont déclaré à The Verge avoir constaté une énorme augmentation de ce type de matériel produit avec des outils comme ChatGPT et Claude ces dernières années. Une grande partie est confuse, difficile à lire et démontre peu de compréhension du sujet ; elle est particulièrement médiocre lorsqu'il s'agit de créditer d'autres chercheurs. Les précédents écrits mathématiques d'OpenAI ont été largement critiqués par les experts pour