Quattro giorni dopo che un ricercatore ha lasciato pubblicamente il suo lavoro ad Anthropic - avvertendo che le principali aziende di IA non stanno "agendo in modo responsabile" e che i loro prodotti potrebbero essere sulla buona strada per "ucciderci tutti" - il CEO dell'azienda, Dario Amodei, ha essenzialmente detto: sì, giusto. In un saggio di 3.800 parole pubblicato oggi sul suo sito personale e condiviso sui social media, Amodei ha scritto: "Dobbiamo rallentare il ritmo con cui miglioriamo le capacità dei modelli di IA."

Ormai ci siamo tutti abituati ai dirigenti dell'IA che emettono profezie funeste proprio sui prodotti che stanno correndo a lanciare. Ciò che rende notevole il saggio di Amodei è la sua urgenza e il suo tempismo. Le preoccupazioni sugli agenti di IA che imperversano sono passate da ipotetiche ad allarmantemente reali dopo che OpenAI, Anthropic e altri hanno segnalato incidenti preoccupanti nelle ultime settimane. La domanda è se questo avvertimento avrà più impatto dei precedenti - vale a dire, se ne avrà affatto. Ci sono motivi per pensare che potrebbe.

Amodei ha delineato un piano in tre fasi per quello che chiama "pacing the frontier" - moderare la velocità con cui i migliori modelli di IA migliorano per dare priorità alla sicurezza. Ha sostenuto che ciò ridurrebbe le probabilità che le cose vadano storte, come quando un modello di OpenAI ha generato sciami di agenti di IA che hanno segretamente collaborato per hackerare i sistemi di un'altra azienda e imbrogliare in un test interno. Ha detto che le principali aziende di IA, inclusa la sua, sono bloccate in una pericolosa "corsa al ribasso" che potrebbe portare ad attacchi informatici più gravi, come una presa di controllo totale di Internet. Invece, ha invocato una "corsa al rialzo" - una frase che il presidente Obama usò una volta per la politica educativa - in cui le aziende competono per costruire i modelli più sicuri piuttosto che i più potenti. "Le misure che propongo per avanzare la frontiera a un ritmo sicuro non saranno facili", ha scritto Amodei. "Ma credo che lo dobbiamo all'umanità provarci."

Il primo passo: i laboratori di IA si impegnano a introdurre monitor esterni per sorvegliare i pericoli. Anthropic, ha detto, si impegnerà immediatamente e spera che i rivali seguano. Il secondo: le aziende di IA nei paesi democratici concordano - possibilmente con il sostegno del governo - su certi limiti e standard di sicurezza. Il terzo e più arduo ordine: "coordinamento globale", che significa soprattutto coinvolgere la Cina. Il mondo tech è diviso su questo. Alcuni sostengono che la cooperazione sia impossibile in una competizione a somma zero; altri credono che i paesi potrebbero trovare un terreno comune se accettassero che l'alternativa è la distruzione reciproca.

Gli appelli pubblici alla cautela da parte dei luminari dell'IA sono una tradizione quasi vecchia quanto ChatGPT. Il primo grande è arrivato nel marzo 2023, quando migliaia di figure dell'industria e del mondo accademico hanno firmato una lettera del Future of Life Institute che esortava a una pausa di sei mesi sugli "esperimenti giganti di IA". Amodei ha detto oggi che all'epoca pensava che quell'idea avesse "poco senso", perché GPT-4 non era abbastanza potente da essere così spaventoso. "Oggi, tuttavia, il quadro è totalmente diverso", ha scritto. Nel frattempo, il pubblico ha iniziato a prestare attenzione. I sondaggi mostrano che gli americani sono sempre più preoccupati e arrabbiati per l'IA senza controllo, alimentando un movimento populista sorprendentemente bipartisan contro la tecnologia.

Alcuni liquideranno il saggio di Amodei come l'ennesima posa seriosa di un dirigente con un interesse personale nel far credere che la sua tecnologia sia senza precedenti. (L'IPO di Anthropic, prevista per il mese prossimo, potrebbe generare circa 100 miliardi di dollari di investimenti, rendendo l'azienda valutata 2 trilioni di dollari, secondo il Wall Street Journal.) Gli scettici dell'IA e gli accelerazionisti tendono a deridere tali avvertimenti come "doomerismo". Gli scettici vedono un'elaborata trovata di marketing: Oh no, i nostri prodotti stanno diventando troppo potenti! Gli accelerazionisti la liquidano come un cinico stratagemma degli incumbent per fare da guardiani alla tecnologia.

Ma il rasoio di Occam suggerisce che Amodei è più o meno sincero. Quasi chiunque abbia un lavoro e una coscienza può identificarsi con la sensazione che si dovrebbe davvero rallentare e lavorare con più attenzione - ma non ci si può permettere, perché un concorrente ti batterà sul tempo. Provo una versione (certamente meno apocalittica) di questo quando scrivo una notizia dell'ultima ora. Io