Anthropic s'apprête à avoir une conversation très sérieuse avec le gardien mondial de la finance au sujet de son modèle d'IA Claude Mythos, qui fait sortir les sels aux experts en raison de son potentiel à dévaster les défenses cybernétiques.
La startup américaine va informer le Conseil de stabilité financière (FSB), présidé par rien de moins que le gouverneur de la Banque d'Angleterre Andrew Bailey, sur les implications de Mythos. Parce que quoi pourrait mal tourner quand on laisse une IA vraiment douée pour trouver des failles dans les systèmes informatiques se répandre dans le monde ?
Anthropic a sagement refusé de rendre Mythos public, ayant annoncé que le modèle d'IA possède des capacités avancées pour mettre en évidence des défauts jusqu'alors inconnus dans les systèmes informatiques - des défauts que les pirates adoreraient exploiter. Au lieu de cela, l'entreprise a donné accès à un groupe sélectionné d'entreprises technologiques et de banques, dont Apple et JP Morgan, pour les aider à identifier les faiblesses que l'IA pourrait débusquer. Le plan du FSB, rapporté pour la première fois par le Financial Times, a été confirmé par une source proche des discussions du régulateur avec Anthropic.
L'Institut britannique de sécurité de l'IA (AISI), qui évalue les modèles d'IA avancés, a publié une évaluation mise à jour de Mythos la semaine dernière après avoir examiné la version remise aux banques et aux entreprises technologiques. Il a déclaré que la dernière itération représentait un « saut de capacité notable » même par rapport à la version préliminaire testée le mois précédent. L'AISI a noté que la dernière version de Mythos a réussi un test de cybersécurité auparavant non résolu, appelé « tour de refroidissement », dans trois tentatives sur dix - une première pour tout modèle testé par l'institut.
« Les capacités cybernétiques et logicielles autonomes de l'IA de pointe progressent rapidement : la durée des tâches cybernétiques que les modèles de pointe peuvent accomplir de manière autonome a doublé en l'espace de mois, et non d'années », a déclaré l'AISI, ajoutant qu'il développe de nouveaux tests de piratage plus difficiles pour suivre les progrès des modèles d'IA. Parce qu'apparemment, les anciens tests ne suffisent plus.
Le FSB surveille et fait des recommandations sur le système financier mondial et comprend des responsables des principales économies, dont les États-Unis, le Royaume-Uni, l'Australie et la Chine. Son comité de pilotage comprend de hauts responsables de banques centrales et de ministères des Finances. Ce mois-ci, le Fonds monétaire international a déclaré que les risques pour la stabilité financière augmentaient en raison des développements « rapides » de l'IA et a appelé à une réponse coordonnée. « Le risque cybernétique ne respecte pas les frontières. Alors que les capacités de l'IA se répandent à travers les pays, une surveillance incohérente pourrait affaiblir un système mondial interconnecté », a déclaré le FMI dans un article de blog, visiblement pas d'humeur à minimiser.
Le mois dernier, le PDG de Goldman Sachs, David Solomon, a déclaré qu'il était « hyper-conscient » des capacités de Mythos, tandis que son homologue de JP Morgan, Jamie Dimon, a noté que l'IA avait rendu la défense cybernétique « plus difficile » même si elle pourrait finalement aider les entreprises à se défendre contre les pirates. D'autres experts ont tenté de calmer le jeu, arguant que Mythos représente une évolution des menaces cybernétiques plutôt qu'une révolution. Les experts en cybersécurité préviennent que la plupart des violations proviennent encore de risques bien établis tels que l'authentification faible et des vulnérabilités déjà connues qui n'ont pas été corrigées. Alors, vous savez, n'oubliez pas de mettre à jour vos mots de passe.
Interrogé sur la nouvelle selon laquelle le FSB évaluerait les risques de Mythos lors de la conférence City Week à Londres, le directeur général de la Financial Conduct Authority, Nikhil Rathi, a déclaré que les développements de l'IA avaient été un « sujet de conversation important » lors des réunions du FMI à Washington le mois dernier. Il a noté que Bailey était « engagé » sur la question et qu'une coopération avait lieu avec les autorités américaines. Rathi a également souligné les orientations publiées par les régulateurs britanniques et le Trésor la semaine dernière, qui demandaient aux entreprises de « redoubler d'efforts » en matière d'« hygiène cybernétique de base ». Cela signifiait « avoir examiné vos systèmes hérités, avoir de bons mécanismes de détection, avoir une bonne gouvernance en place, réfléchir à la manière dont vous récupérez, réfléchir à votre assurance », a-t-il déclaré. Rathi a ajouté qu'« Anthropic a agi assez res