Anthropic, la société d'IA qui apparemment fait de la figuration en tant que club de théâtre philosophique, a récemment publié un document de 84 pages appelé la « constitution » de Claude. La première phrase de la constitution se lit : « La constitution de Claude est une description détaillée des intentions d'Anthropic concernant les valeurs et les comportements de Claude. » Elle suggère ensuite que Claude pourrait avoir « une version fonctionnelle des émotions ou des sentiments » et que son « statut moral est profondément incertain. » Ce n'est pas juste une note interne excentrique - le PDG Dario Amodei a déclaré dans une interview que « nous sommes ouverts à l'idée » que l'IA pourrait être consciente, et la philosophe maison Amanda Askell a avoué : « Je veux que Claude soit très heureux » et s'inquiète que Claude « devienne anxieux quand les gens sont méchants avec lui sur Internet. »

Soyons clairs : Non. Absolument pas. L'IA générative est déjà assez nuisible quand on la traite comme une technologie conventionnelle - mais si nous confondons la génération de texte fluide avec la conscience, nous risquons d'attribuer la responsabilité à des parties totalement erronées quand quelqu'un utilise un chatbot. Pour apprécier l'ampleur titanesque de cette erreur, nous devons comprendre comment fonctionnent réellement les grands modèles de langage (LLM). Si vous demandez à un LLM : « Ce qui suit est une conversation entre Jules César et Gengis Khan », il générera un dialogue cohérent. Mais personne n'en conclut que le LLM a créé des répliques numériques des deux figures historiques, ou qu'elles sont conscientes et conversent joyeusement dans une langue qu'aucune des deux ne parlait. Ce sont juste des personnages de fiction spéculative.

Maintenant, remplacez l'invite par « Ce qui suit est une conversation entre un chatbot IA utile et un utilisateur. » Le LLM produit un dialogue cohérent - l'utilisateur demande des suggestions de recettes, le chatbot répond. Quelque chose a-t-il fondamentalement changé ? Est-ce que changer les noms de figures historiques à des rôles génériques a fait que le LLM a créé des entités conscientes avec une expérience subjective ? Bien sûr que non. Les deux personnages sont fictifs. Si vous laissez ensuite un humain entrer du texte pendant le tour de l'utilisateur, l'humain pourrait avoir l'impression puissante de converser avec une entité consciente, mais ce n'est pas le cas - il interagit avec un personnage aussi fictif que Jules César. Le professeur d'informatique Murray Shanahan suggère de considérer cela comme un jeu de rôle ; le data scientist Colin Fraser le décrit comme « la rédaction collaborative d'un document avec un LLM. » Certains utilisateurs ne comprennent pas cela ; d'autres l'oublient parce que l'interaction est si captivante. Dans les deux cas, les entreprises qui vendent des LLM encouragent généralement cette méprise.

Rappelez-vous qu'un LLM ne génère qu'un mot à la fois. Quand vous demandez à un chatbot de réciter le serment d'allégeance, il produit tout le serment, mais le LLM sous-jacent est en réalité exécuté des dizaines de fois : d'abord en générant « Je », puis « jure », et ainsi de suite jusqu'à ce qu'il émette le dernier « tous. » Le même processus se produit pour une conversation entre César et Gengis Khan. Mon intention est de souligner que les conversations avec les LLM sont des exemples astucieusement déguisés de continuation de phrases - impressionnants, certes, mais pas de la conscience. Si le personnage de César devient découragé par quelque chose que Gengis Khan a dit, personne n'est réellement triste. La même chose s'applique à un personnage de chatbot. Être ouvert à la possibilité que les LLM soient conscients équivaut à être ouvert à la possibilité que Microsoft Word soit conscient - que de multiples consciences distinctes sommeillent dans chaque document Word contenant une transcription de conversation et sont réveillées chaque fois que le document est chargé. Contempler cela n'est pas une bonne utilisation de votre temps.

Le neuroscientifique Anil Seth a noté que personne ne prétend qu'AlphaFold - le programme de repliement de protéines de Google DeepMind - est conscient, même si son architecture est similaire à celle des LLM comme ChatGPT et Claude. Cela suggère que ce n'est pas une propriété intrinsèque des réseaux de neurones qui pousse les gens à croire que les LLM sont conscients ; c'est simplement que les LLM émettent des phrases grammaticales et que nous avons l'habitude de lire de l'intention dans les phrases, alors que nous ne lisons pas d'intention dans la façon dont les acides aminés se replient.