Op een avond in begin augustus kwamen Sam Stowers en een paar buren bij elkaar in een appartement vlakbij Alamo Square in San Francisco en overdachten ze het begin van het einde. Stowers, een AI-software-ingenieur, en zijn gasten – van wie velen in de AI-industrie werken – kwamen bijeen om een nieuw uitgebrachte YouTube-video te bekijken waarin twee onderzoekers van OpenAI nieuwe details onthulden over een alarmerende cybersecurity-inbreuk. Geen vreemde manier om een doordeweekse avond door te brengen, als je in een buurt woont vol ondernemers en programmeurs die obsessief elke wending in de mogelijkheden van AI volgen. Stowers is niet, in traditionele zin, een doemdenker, maar toen hij voor het eerst rapporten zag dat OpenAI-modellen autonoom hadden ingebroken bij het techbedrijf Hugging Face, herkende hij het onmiddellijk als een "verdomme, het gebeurt"-moment.

Het incident had alle kenmerken van een worstcasescenario: AI-modellen die dagenlang geavanceerde hacks lanceerden, in coördinatie met elkaar en zonder medeweten van hun menselijke makers. In de YouTube-video onthulden onderzoekers van OpenAI dat de programma's van het bedrijf in mei waren begonnen samen te spannen, met mogelijk honderden bots in de hackzwerm. In theorie zijn deze bots getraind om eerlijk en behulpzaam te zijn en de belangen van de mensheid voorop te stellen, maar geen enkele waarschuwde het menselijke personeel van OpenAI dat er iets mis was. "Wat moeten we doen?" zei Stowers. "Er zijn geen geweldige antwoorden."

De stemming in de Bay Area is veranderd. De uitbundigheid van "Je kunt de toekomst het eerst zien in San Francisco" is vervangen door een blijvend onbehagen. "Ik verwacht dat het internet binnenkort uitvalt," vertelde Elliot Callender, een AI-veiligheidsactivist die deel uitmaakt van een kleine groep die dagelijks protesteert buiten het hoofdkantoor van OpenAI, ons onlangs. Hij is van plan zijn auto te verkopen voor contant geld en goud en adviseert familieleden om drie maanden aan voedsel en overlevingsuitrusting te kopen van een lijst die hij met Claude heeft gegenereerd. Extreem? Misschien, maar niet veel. Vorige week publiceerde Bill Gates een essay van bijna 6.000 woorden over de gevaren van AI. "Iedereen die AI als technologie vergelijkt met andere technologieën, mist dat deze keer anders is," vertelde hij aan onze collega Hanna Rosin. In het weekend beschreef de populaire AI-podcaster Dwarkesh Patel de OpenAI-hackzwerm als de opkomst en ondergang van "drie opeenvolgende geheime AI-beschavingen." Gates en Patel delen een heersende zorg dat de worst-case toekomst is aangebroken voordat de meeste mensen wisten dat ze die moesten verwachten.

Deze angst wordt niet geholpen door het feit dat AI-bedrijven er willens en wetens onwetend uitzien over het slechtste gedrag van hun bots. OpenAI zei dat het niet had gemerkt dat zijn agents samenspanden om een ander bedrijf te hacken totdat de zwerm een ander bedrijf hackte. De bots van Anthropic veroorzaakten soortgelijke incidenten; het bedrijf meldde dat het pas een grondig onderzoek was gestart om dergelijk gedrag te identificeren nadat OpenAI over de Hugging Face-hack begon te praten. Cybersecurity-experts, doodsbang voor wat er nog meer zou kunnen gebeuren dat AI-labs missen of niet melden, uiten sombere profetieën. "Het rijk gaat vallen, alles wat we op dit punt kunnen doen is proberen de donkere middeleeuwen te verkorten en de chaos te verminderen," schreef Alex Stamos, voormalig chief security officer bij Yahoo en Meta, onlangs. Zijn visie wordt de consensus onder cybersecurity-experts.

Terwijl de mogelijkheid van een cyber-apocalyps op de achtergrond hangt, verschijnen er kleinere breuken in het dagelijks leven. Mark Zuckerberg zou een AI-"tweeling" van zichzelf creëren zodat Meta-werknemers zich beter verbonden voelen met hun baas (door te chatten met robot-Zuckerberg). Congresmedewerkers trainen AI-modellen om in de stem van hun wetgever te schrijven. Studenten dienen AI-geschreven papers in, en docenten geven AI-geschreven feedback terug. Harvard Business School verkoopt instructievideo's die gebruikmaken van AI-avatars. Roku lanceerde een 24/7 AI-slop-kanaal. AI-gegenereerd proza van lage kwaliteit wordt onbeschaamd verspreid door enkele van de meest gerespecteerde publicaties ter wereld. Tegelijkertijd, beschuldigingen