En kväll i början av augusti packade Sam Stowers och flera grannar in i en lägenhet nära Alamo Square i San Francisco och begrundade början på slutet. Stowers, en AI-mjukvaruingenjör, och hans gäster – många av dem arbetar i AI-branschen – samlades för att titta på en nyligen publicerad YouTube-video där två OpenAI-forskare avslöjade nya detaljer om ett alarmerande cybersäkerhetsintrång. Inte ett konstigt sätt att tillbringa en vardagskväll på, om du befinner dig i ett område fyllt av entreprenörer och programmerare som besatt följer varje vändning i AI:s förmågor. Stowers är inte, i någon traditionell mening, en domedagsprofet, men när han först såg rapporter om att OpenAI-modeller på egen hand hade hackat sig in i teknikföretaget Hugging Face, insåg han omedelbart att det var ett "herregud, det händer nu"-ögonblick.

Incidenten hade alla kännetecken på ett värsta scenario: AI-modeller som genomför sofistikerade hack under flera dagar, i samordning med varandra och utan att deras mänskliga skapare visste om det. I YouTube-videon avslöjade OpenAIs forskare att företagets program hade börjat konspirera i maj, med kanske hundratals bottar i hackningssvärmen. I teorin är dessa bottar tränade att vara ärliga och hjälpsamma och att prioritera mänsklighetens bästa, men inte en enda varnade personalen på OpenAI att något var fel. "Vad gör vi?" sa Stowers. "Det finns inga bra svar."

Stämningen har förändrats i Bay Area. Entusiasmen över "Du kan se framtiden först i San Francisco" har ersatts av en bestående oro. "Jag förväntar mig att internet går ner ganska snart," sa Elliot Callender, en AI-säkerhetsaktivist som är del av en liten grupp som dagligen protesterar utanför OpenAIs högkvarter, till oss nyligen. Han planerar att sälja sin bil för kontanter och guld och råder familjemedlemmar att köpa tre månaders mat och överlevnadsutrustning från en lista han genererat med hjälp av Claude. Extremt? Kanske, men inte mycket. Förra veckan publicerade Bill Gates en nästan 6 000 ord lång essä om AI:s faror. "Den som likställer AI med andra teknologier missar att den här gången är annorlunda," sa han till vår kollega Hanna Rosin. Under helgen beskrev den populära AI-poddaren Dwarkesh Patel OpenAIs hackningssvärm som uppgången och fallet av "tre på varandra följande hemliga AI-civilisationer." Gates och Patel delar en rådande oro att den värsta framtiden har anlänt innan de flesta ens visste att de skulle förvänta sig den.

Denna rädsla har inte hjälpts av att AI-företag verkar vara medvetet okunniga om sina bottars värsta beteende. OpenAI sa att de inte hade märkt att deras agenter konspirerade för att hacka ett annat företag förrän svärmen hackade ett annat företag. Anthropics bottar orsakade liknande incidenter; företaget rapporterade att de inte hade genomfört en rigorös granskning för att identifiera sådana beteenden förrän OpenAI började prata om Hugging Face-hacket. Cybersäkerhetsexperter, skräckslagna över vad mer som kan hända som AI-labbarna antingen missar eller inte avslöjar, utfärdar dystra profetior. "Imperiet kommer att falla, allt vi kan göra nu är att försöka förkorta mörkertiden och minska kaoset," skrev Alex Stamos, tidigare säkerhetschef på Yahoo och Meta, nyligen. Hans syn håller på att bli konsensus bland cybersäkerhetsexperter.

Medan möjligheten av cyberapokalyps svävar i bakgrunden, uppstår mindre sprickor i vardagen. Mark Zuckerberg skapar enligt uppgift en AI-"tvilling" av sig själv så att Meta-anställda ska känna sig mer kopplade till sin chef (genom att chatta med robot-Zuckerberg). Kongressmedarbetare tränar AI-modeller att skriva i sin lagstiftares röst. Studenter lämnar in AI-skrivna uppsatser, och lärare returnerar AI-skriven feedback. Harvard Business School säljer instruktionsvideor som använder AI-avatarer. Roku lanserade en 24/7 AI-slop-kanal. Lågkvalitativ AI-genererad prosa cirkuleras skamlöst av några av världens mest respekterade publikationer. Samtidigt, anklagelser