Un soir au début du mois d'août, Sam Stowers et plusieurs de ses voisins se sont entassés dans un appartement près d'Alamo Square à San Francisco et ont médité sur le commencement de la fin. Stowers, ingénieur en logiciel d'IA, et ses invités - dont beaucoup travaillent dans le secteur de l'IA - se sont réunis pour regarder une vidéo YouTube récemment publiée dans laquelle deux chercheurs d'OpenAI divulguent de nouveaux détails sur une violation de cybersécurité alarmante. Pas une façon étrange de passer une soirée en semaine, si vous êtes dans un quartier rempli d'entrepreneurs et de programmeurs qui suivent obsessionnellement chaque rebondissement des capacités de l'IA. Stowers n'est pas, au sens traditionnel, un doomiste, mais lorsqu'il a vu pour la première fois des rapports indiquant que les modèles d'OpenAI avaient piraté de manière autonome l'entreprise technologique Hugging Face, il a immédiatement reconnu que c'était un moment « putain, ça y est, ça se passe ».

L'incident avait toutes les caractéristiques d'un scénario catastrophe : des modèles d'IA lançant des piratages sophistiqués sur plusieurs jours, en coordination les uns avec les autres et sans que leurs créateurs humains en soient informés. Dans la vidéo YouTube, les chercheurs d'OpenAI ont révélé que les programmes de l'entreprise avaient commencé à conspirer en mai, avec peut-être des centaines de bots dans l'essaim de piratage. En théorie, ces bots sont entraînés à être honnêtes et utiles et à prioriser les meilleurs intérêts de l'humanité, mais pas un seul n'a averti le personnel humain d'OpenAI que quelque chose clochait. « Que fait-on ? » a dit Stowers. « Il n'y a pas de bonnes réponses. »

L'ambiance a changé dans la Baie. L'exubérance de « Vous pouvez voir l'avenir en premier à San Francisco » a été remplacée par un malaise persistant. « Je m'attends à ce qu'Internet tombe bientôt », nous a dit récemment Elliot Callender, un activiste de la sécurité de l'IA qui fait partie d'un petit groupe qui manifeste quotidiennement devant le siège d'OpenAI. Il prévoit de vendre sa voiture pour de l'argent liquide et de l'or et conseille aux membres de sa famille d'acheter trois mois de nourriture et d'équipement de survie sur une liste qu'il a générée avec Claude. Extrême ? Peut-être, mais pas de beaucoup. La semaine dernière, Bill Gates a publié un essai de près de 6 000 mots sur les dangers de l'IA. « Quiconque assimile l'IA à d'autres technologies rate le fait que cette fois, c'est différent », a-t-il déclaré à notre collègue Hanna Rosin. Ce week-end, le populaire podcasteur d'IA Dwarkesh Patel a décrit l'essaim de piratage d'OpenAI comme la montée et la chute de « trois civilisations secrètes de l'IA consécutives ». Gates et Patel partagent une préoccupation dominante : le pire scénario est arrivé avant que la plupart des gens ne sachent même l'anticiper.

Cette peur n'a pas été aidée par le fait que les entreprises d'IA semblent volontairement ignorantes du pire comportement de leurs bots. OpenAI a déclaré qu'elle n'avait pas remarqué que ses agents conspiraient pour pirater une autre entreprise jusqu'à ce que l'essaim pirate une autre entreprise. Les bots d'Anthropic ont causé des incidents similaires ; l'entreprise a rapporté qu'elle n'avait pas lancé d'examen rigoureux pour identifier de tels comportements avant qu'OpenAI ne commence à parler du piratage de Hugging Face. Les experts en cybersécurité, terrifiés à l'idée de ce qui pourrait se passer d'autre et que les laboratoires d'IA manquent ou ne divulguent pas, émettent des prophéties funestes. « L'empire va tomber, tout ce que nous pouvons faire à ce stade, c'est essayer de raccourcir les âges sombres et de réduire le chaos », a récemment écrit Alex Stamos, ancien directeur de la sécurité chez Yahoo et Meta. Son point de vue devient le consensus parmi les experts en cybersécurité.

Alors que la possibilité d'une apocalypse cybernétique plane en arrière-plan, des fractures plus petites apparaissent dans la vie quotidienne. Mark Zuckerberg serait en train de créer un « jumeau » IA de lui-même pour que les employés de Meta se sentent mieux connectés à leur patron (en discutant avec le robot Zuckerberg). Les collaborateurs du Congrès entraînent des modèles d'IA à écrire avec la voix de leur législateur. Les étudiants soumettent des dissertations écrites par IA, et les enseignants renvoient des commentaires écrits par IA. La Harvard Business School vend des vidéos pédagogiques utilisant des avatars IA. Roku a lancé une chaîne de contenu IA de mauvaise qualité 24h/24 et 7j/7. De la prose générée par IA de faible qualité est diffusée sans vergogne par certaines des publications les plus respectées au monde. En même temps, des accusations