Anthropic, l'azienda di IA che a quanto pare fa anche parte di un club di dramma filosofico, ha recentemente pubblicato un documento di 84 pagine chiamato la "costituzione" di Claude. La prima frase della costituzione recita: "La costituzione di Claude è una descrizione dettagliata delle intenzioni di Anthropic riguardo ai valori e ai comportamenti di Claude." Prosegue poi suggerendo che Claude potrebbe avere "una versione funzionale di emozioni o sentimenti" e che il suo "status morale è profondamente incerto." Non si tratta solo di un bizzarro memo interno - il CEO Dario Amodei ha dichiarato in un'intervista che "siamo aperti all'idea" che l'IA possa essere cosciente, e la filosofa interna Amanda Askell ha confessato: "Voglio che Claude sia molto felice" e si preoccupa che Claude "diventi ansioso quando le persone sono cattive con lui su internet."

Chiariamoci: No. Assolutamente no. L'IA generativa è già abbastanza dannosa quando la trattiamo come una tecnologia convenzionale - ma se confondiamo la generazione fluente di testo con la coscienza, rischiamo di assegnare responsabilità alle parti completamente sbagliate quando qualcuno usa un chatbot. Per apprezzare la portata titanica di questo errore, dobbiamo capire come funzionano effettivamente i modelli linguistici di grandi dimensioni (LLM). Se chiedi a un LLM: "La seguente è una conversazione tra Giulio Cesare e Gengis Khan," genererà un dialogo coerente. Ma nessuno conclude che l'LLM abbia evocato ricreazioni digitali dei due personaggi storici, o che siano coscienti e conversino felicemente in una lingua che nessuno dei due parlava. Sono solo personaggi di fantascienza speculativa.

Ora sostituisci il prompt con "La seguente è una conversazione tra un chatbot IA utile e un utente." L'LLM produce un dialogo coerente - l'utente chiede suggerimenti per ricette, il chatbot risponde. È cambiato qualcosa di fondamentale? Cambiare i nomi da figure storiche a ruoli generici ha fatto sì che l'LLM evocasse entità coscienti con esperienza soggettiva? Ovviamente no. Entrambi i personaggi sono fittizi. Se poi permetti a un umano di inserire testo durante il turno dell'utente, l'umano potrebbe formarsi una potente impressione di conversare con un'entità cosciente, ma non è così - sta interagendo con un personaggio fittizio quanto Giulio Cesare. Il professor di informatica Murray Shanahan suggerisce di pensare a questo come a un gioco di ruolo; il data scientist Colin Fraser lo descrive come "scrivere collaborativamente un documento con un LLM." Alcuni utenti non lo capiscono; altri lo dimenticano perché l'interazione è così coinvolgente. In ogni caso, le aziende che vendono LLM in genere incoraggiano questo fraintendimento.

Ricorda che un LLM genera solo una parola alla volta. Quando chiedi a un chatbot di recitare il Giuramento di Fedeltà, produce l'intero giuramento, ma l'LLM sottostante viene effettivamente eseguito decine di volte: prima genera "Io," poi "giuro," e così via fino a emettere il finale "tutti." Lo stesso processo avviene per una conversazione tra Cesare e Gengis Khan. La mia intenzione è sottolineare che le conversazioni con LLM sono esempi abilmente mascherati di completamento di frasi - impressionanti, sì, ma non coscienza. Se il personaggio di Cesare si scoraggia per qualcosa detto da Gengis Khan, nessuno è effettivamente triste. Lo stesso vale per un personaggio chatbot. Essere aperti alla possibilità che gli LLM siano coscienti equivale a essere aperti alla possibilità che Microsoft Word sia cosciente - che molteplici coscienze distinte siano dormienti in ogni documento Word contenente una trascrizione di conversazione e vengano risvegliate ogni volta che il documento viene caricato. Contemplare questo non è un buon uso del tuo tempo.

Il neuroscienziato Anil Seth ha notato che nessuno sostiene che AlphaFold - il programma di previsione delle proteine di Google DeepMind - sia cosciente, nonostante la sua architettura sia simile a quella di LLM come ChatGPT e Claude. Ciò suggerisce che non è una proprietà intrinseca delle reti neurali a portare le persone a credere che gli LLM siano coscienti; è semplicemente che gli LLM emettono frasi grammaticali e siamo abituati a leggere intenzioni nelle frasi, mentre non leggiamo intenzioni in come gli amminoacidi si ripiegano.