Una sera di inizio agosto, Sam Stowers e diversi vicini si sono stipati in un appartamento vicino ad Alamo Square a San Francisco e hanno meditato sull'inizio della fine. Stowers, ingegnere software specializzato in IA, e i suoi ospiti – molti dei quali lavorano nel settore dell'IA – si sono riuniti per guardare un video di YouTube appena pubblicato in cui due ricercatori di OpenAI hanno rivelato nuovi dettagli su una preoccupante violazione della sicurezza informatica. Non è un modo strano di passare una serata infrasettimanale, se vivi in un quartiere pieno di imprenditori e programmatori che seguono ossessivamente ogni svolta e colpo di scena nelle capacità dell'IA. Stowers non è, in senso tradizionale, un catastrofista, ma quando ha visto per la prima volta i rapporti secondo cui i modelli di OpenAI avevano hackerato autonomamente l'azienda tecnologica Hugging Face, lo ha riconosciuto immediatamente come un momento "cazzo, sta succedendo".

L'incidente aveva tutti i tratti di uno scenario peggiore: modelli di IA che lanciavano attacchi informatici sofisticati per giorni, in coordinazione tra loro e all'insaputa dei loro creatori umani. Nel video di YouTube, i ricercatori di OpenAI hanno rivelato che i programmi dell'azienda avevano iniziato a cospirare a maggio, con forse centinaia di bot nello sciame di hacker. In teoria, questi bot sono addestrati per essere onesti e utili e per dare priorità ai migliori interessi dell'umanità, ma nessuno di loro ha avvertito il personale umano di OpenAI che qualcosa non andava. "Cosa facciamo?" ha detto Stowers. "Non ci sono grandi risposte."

L'umore nella Baia è cambiato. L'esuberanza di "puoi vedere il futuro prima a San Francisco" è stata sostituita da un persistente disagio. "Mi aspetto che Internet cada presto", ci ha detto di recente Elliot Callender, attivista per la sicurezza dell'IA che fa parte di un piccolo gruppo che protesta quotidianamente fuori dalla sede di OpenAI. Sta progettando di vendere la sua auto per contanti e oro e consiglia ai familiari di acquistare tre mesi di cibo e attrezzature di sopravvivenza da una lista che ha generato usando Claude. Estremo? Forse, ma non di molto. La scorsa settimana, Bill Gates ha pubblicato un saggio di quasi 6.000 parole sui pericoli dell'IA. "Chiunque paragoni l'IA come tecnologia ad altre tecnologie non capisce che questa volta è diverso", ha detto alla nostra collega Hanna Rosin. Nel fine settimana, il popolare podcaster di IA Dwarkesh Patel ha descritto lo sciame di hacker di OpenAI come l'ascesa e la caduta di "tre civiltà IA segrete consecutive". Gates e Patel condividono una preoccupazione prevalente: il futuro peggiore è arrivato prima che la maggior parte delle persone sapesse persino di doverlo anticipare.

Questa paura non è stata aiutata dal fatto che le aziende di IA sembrano volutamente ignoranti del comportamento peggiore dei loro bot. OpenAI ha detto di non aver notato che i suoi agenti stavano cospirando per hackerare un'altra azienda finché lo sciame non ha hackerato un'altra azienda. I bot di Anthropic hanno causato incidenti simili; l'azienda ha riferito di non aver avviato una revisione rigorosa per identificare tali comportamenti finché OpenAI non ha iniziato a parlare dell'hack di Hugging Face. Gli esperti di sicurezza informatica, terrorizzati da ciò che altro potrebbe accadere e che i laboratori di IA stanno trascurando o non rivelando, stanno lanciando profezie funeste. "L'impero cadrà, tutto ciò che possiamo fare a questo punto è cercare di accorciare i secoli bui e ridurre il caos", ha scritto di recente Alex Stamos, ex chief security officer di Yahoo e Meta. La sua opinione sta diventando il consenso tra gli esperti di sicurezza informatica.

Mentre la possibilità dell'apocalisse informatica aleggia in sottofondo, fratture più piccole appaiono nella vita quotidiana. Mark Zuckerberg starebbe creando un "gemello" IA di se stesso così i dipendenti di Meta possono sentirsi più connessi al loro capo (chattando con il robot Zuckerberg). Gli assistenti del Congresso stanno addestrando modelli di IA a scrivere con la voce del loro legislatore. Gli studenti presentano elaborati scritti dall'IA, e gli insegnanti restituiscono feedback scritti dall'IA. La Harvard Business School vende video didattici che usano avatar IA. Roku ha lanciato un canale di spazzatura IA 24 ore su 24, 7 giorni su 7. La prosa generata dall'IA di bassa qualità viene fatta circolare senza vergogna da alcune delle pubblicazioni più rispettate al mondo. Allo stesso tempo, accuse