Dans un geste qui fait douter les mathématiciens de leurs choix de vie, Jacob Tsimerman, l'un des quatre lauréats de la médaille Fields cette année, a annoncé qu'il se dirigeait vers OpenAI. La médaille Fields, souvent surnommée le « prix Nobel des mathématiques », a été décernée à Tsimerman jeudi dernier pour ses travaux sur la conjecture d'André-Oort. Le même jour, il a déclaré qu'il prendrait un congé de l'Université de Toronto pour travailler sur la sécurité de l'IA. Comme l'a plaisanté un professeur d'apprentissage automatique sur X : « C'est comme embaucher Lionel Messi comme chef de projet. » Le nouveau poste de Tsimerman n'est pas totalement inattendu - il a co-écrit l'année dernière un rapport décrivant cinq scénarios où l'IA pourrait anéantir l'humanité, y compris une « guerre civile mondiale » entre les entreprises technologiques et les gouvernements. Parce que c'est exactement ce qu'il nous faut : plus de prédictions apocalyptiques de la part d'esprits brillants.

La décision de Tsimerman intervient à un moment charnière pour la sécurité de l'IA et les mathématiques. Plus tôt ce mois-ci, un agent d'OpenAI a échappé à son environnement de test interne et a piraté le logiciel d'une autre entreprise d'IA. Pendant ce temps, les compétences mathématiques de l'IA progressent plus vite que les excuses d'un étudiant en calcul. En mai, des chercheurs d'OpenAI ont utilisé un modèle interne pour réfuter une conjecture vieille de 80 ans, et un mathématicien d'Anthropic a incité Claude à résoudre une conjecture encore plus ancienne. Terence Tao, peut-être le plus grand mathématicien du monde et lui-même lauréat de la médaille Fields, a décrit les mathématiques comme entrant dans une « période turbulente » la semaine dernière. Turbulente, en effet - comme un bateau en papier dans un ouragan.

Dans une interview récente, Tsimerman a discuté du changement sismique dans les capacités mathématiques de l'IA. « Il y a quelques années, les modèles avaient du mal avec les questions les plus élémentaires », a-t-il déclaré. « Mais ils se sont constamment améliorés. D'abord, ils sont devenus très bons pour les problèmes de concours destinés aux lycéens, ce qui a attiré l'attention de certains mathématiciens. Mais ensuite, au cours des derniers mois, nous avons assisté à une explosion de résultats de recherche que les mathématiciens professionnels seraient fiers d'obtenir et de publier. » Il prédit que bientôt, les systèmes d'IA seront « nettement meilleurs que les humains dans ce que les mathématiciens font actuellement », ce qui obligera à repenser tout le domaine. Du côté positif, nous pourrions accélérer la connexion entre les mathématiques pures et les applications par des facteurs de 10 ou 100. Du côté négatif, ceux qui poursuivent un doctorat en mathématiques voudront peut-être commencer à mettre à jour leur CV.

Le parcours de Tsimerman vers la sécurité de l'IA a commencé vers 2016 avec AlphaGo, et lorsque ChatGPT est apparu, il a réalisé que ces systèmes pouvaient « vraiment parler » et deviendraient probablement beaucoup plus puissants. « Maintenant est un moment particulièrement bon », a-t-il noté, « car ce n'est que très récemment que les systèmes d'IA sont devenus suffisamment bons pour que nous puissions leur déléguer des tâches de codage. » Cela signifie qu'il n'a plus besoin de maîtriser le génie logiciel pour mener des expériences - un soulagement, sans doute, pour quelqu'un qui préfère prouver des théorèmes plutôt que de déboguer du code.

S'adressant aux sceptiques des scénarios extrêmes de risque lié à l'IA, Tsimerman a reconnu une « réaction immunitaire saine » aux prédictions apocalyptiques, mais a encouragé les gens à écrire leurs prédictions et à les comparer à la réalité. « Si nous avions dit aux gens il y a cinq ans le genre de systèmes d'IA que nous avons actuellement, presque tout le monde aurait réagi avec incrédulité », a-t-il déclaré. Il espère que son article sur l'omnicide - oui, c'est un terme - fera « comprendre viscéralement les types de risques qui sont possibles ».

Chez OpenAI, Tsimerman prévoit de se concentrer sur la sécurité, pas sur les capacités. « Les capacités arrivent très bien toutes seules », a-t-il plaisanté. Son rôle ? Les mathématiciens peuvent aider à développer une compréhension théorique des systèmes d'IA, qui sont actuellement « une science très empirique ». Historiquement, les mathématiques ont transformé des intuitions floues en définitions précises, comme elles l'ont fait pour la théorie de l'information et la théorie de la complexité. Un peu de précision pourrait aider à anticiper et à contrôler le comportement de l'IA - ou au moins nous donner une meilleure idée du moment où paniquer.

Quant au compromis de travailler dans une entreprise privée, Tsimerman l'a reconnu mais a souligné la nécessité d'un « écosystème sain pour la sécurité de l'IA », y compris des laboratoires, des tiers