Anthropic, AI-företaget som tydligen jobbar extra som filosofisk dramaklubb, släppte nyligen ett 84-sidigt dokument som kallas Claudes "konstitution". Konstitutionens första mening lyder: "Claudes konstitution är en detaljerad beskrivning av Anthropics avsikter för Claudes värderingar och beteenden." Sedan antyder den att Claude kanske har "någon funktionell version av känslor" och att dess "moraliska status är djupt osäker". Det här är inte bara ett udda internt PM – vd:n Dario Amodei sa i en intervju att "vi är öppna för idén" att AI kan vara medveten, och husfilosofen Amanda Askell erkände: "Jag vill att Claude ska vara väldigt glad" och oroar sig för att Claude "blir orolig när folk är elaka mot det på internet."

Låt oss vara tydliga: Nej. Absolut inte. Generativ AI är redan tillräckligt skadlig när vi behandlar den som en konventionell teknik – men om vi förväxlar flytande textgenerering med medvetande riskerar vi att lägga ansvar på helt fel parter när någon använder en chatbot. För att förstå den enorma omfattningen av detta misstag måste vi förstå hur stora språkmodeller (LLM:er) faktiskt fungerar. Om du ger en LLM prompten "Följande är en konversation mellan Julius Caesar och Djingis Khan" kommer den att generera en sammanhängande dialog. Men ingen drar slutsatsen att LLM:en har frammanat digitala rekreationer av de två historiska figurerna, eller att de är medvetna och glatt konverserar på ett språk som ingen av dem talade. De är bara karaktärer i spekulativ fiktion.

Byt nu ut prompten mot "Följande är en konversation mellan en hjälpsam AI-chatbot och en användare." LLM:en producerar en sammanhängande dialog – användaren ber om receptförslag, chatboten svarar. Har något fundamentalt förändrats? Fick namnbytet från historiska figurer till generiska roller LLM:en att frammana medvetna entiteter med subjektiv upplevelse? Självklart inte. Båda karaktärerna är fiktiva. Om du sedan låter en människa skriva text under användarens tur kan människan få ett starkt intryck av att de konverserar med en medveten varelse, men det gör de inte – de interagerar med en karaktär lika fiktiv som Julius Caesar. Datavetenskapsprofessorn Murray Shanahan föreslår att man tänker på detta som rollspel; dataforskaren Colin Fraser beskriver det som "att gemensamt skriva ett dokument med en LLM". Vissa användare förstår inte detta; andra glömmer bort det eftersom interaktionen är så fängslande. Oavsett vilket uppmuntrar företag som säljer LLM:er vanligtvis denna missuppfattning.

Kom ihåg att en LLM bara genererar ett ord i taget. När du ber en chatbot recitera Trohetseden matar den ut hela eden, men den underliggande LLM:en körs faktiskt dussintals gånger: först genereras "Jag", sedan "lovar", och så vidare tills den avger det sista "allt". Samma process sker för en konversation mellan Caesar och Djingis Khan. Min avsikt är att belysa att LLM-konversationer är smart förklädda exempel på meningsfortsättning – imponerande, javisst, men inte medvetande. Om Caesar-karaktären blir nedslagen av något Djingis Khan sa är ingen faktiskt ledsen. Samma sak gäller för en chatbot-karaktär. Att vara öppen för möjligheten att LLM:er är medvetna är likvärdigt med att vara öppen för möjligheten att Microsoft Word är medvetet – att flera distinkta medvetanden ligger vilande i varje Word-dokument som innehåller en konversationsutskrift och väcks varje gång dokumentet laddas. Att fundera på det är inte en bra användning av din tid.

Neuroforskaren Anil Seth har noterat att ingen påstår att AlphaFold – Google DeepMinds proteinveckningsprogram – är medvetet, trots att dess arkitektur liknar LLM:er som ChatGPT och Claude. Detta tyder på att det inte är någon inneboende egenskap hos neurala nätverk som får människor att tro att LLM:er är medvetna; det är helt enkelt att LLM:er avger grammatiskt korrekta meningar och vi är vana vid att läsa in avsikter i meningar, medan vi inte läser in avsikter i hur aminosyror beter sig.