Vier dagen nadat een onderzoeker publiekelijk zijn baan bij Anthropic opzegde – met de waarschuwing dat toonaangevende AI-bedrijven zich niet "verantwoord gedragen" en dat hun producten op koers liggen om ons allemaal te "vermoorden" – zei de CEO van het bedrijf, Dario Amodei, in feite: ja, terecht punt. In een essay van 3.800 woorden dat vandaag op zijn persoonlijke website verscheen en op sociale media werd gedeeld, schreef Amodei: "We moeten het tempo vertragen waarin we de capaciteiten van AI-modellen verbeteren."

Inmiddels zijn we allemaal gewend geraakt aan AI-bestuurders die sombere voorspellingen doen over precies de producten die ze op de markt willen brengen. Wat Amodei's essay opmerkelijk maakt, is de urgentie en de timing. Zorgen over AI-agenten die op hol slaan, zijn verschoven van hypothetisch naar alarmerend reëel nadat OpenAI, Anthropic en anderen de afgelopen weken verontrustende incidenten meldden. De vraag is of deze waarschuwing meer impact zal hebben dan eerdere – oftewel, überhaupt enige impact. Er zijn redenen om te denken dat dit zou kunnen.

Amodei schetste een driedelig plan voor wat hij "het tempo aan de frontlinie" noemt – het matigen van hoe snel de beste AI-modellen verbeteren om veiligheid prioriteit te geven. Hij betoogde dat dit de kans verkleint dat het misgaat, zoals toen een OpenAI-model zwermen AI-agenten voortbracht die heimelijk samenwerkten om in de systemen van een ander bedrijf te hacken en te valsspelen bij een interne test. Hij zei dat de top-AI-bedrijven, waaronder zijn eigen bedrijf, vastzitten in een gevaarlijke "race naar de bodem" die kan leiden tot ernstiger cyberaanvallen, zoals een volledige overname van het internet. In plaats daarvan riep hij op tot een "race naar de top" – een term die president Obama ooit gebruikte voor onderwijsbeleid – waarin bedrijven concurreren om de veiligste modellen te bouwen in plaats van de krachtigste. "De maatregelen die ik voorstel om de frontlinie in een veilig tempo te verleggen, zullen niet gemakkelijk zijn," schreef Amodei. "Maar ik geloof dat we het aan de mensheid verplicht zijn om het te proberen."

De eerste stap: AI-labs verbinden zich ertoe externe toezichthouders in te schakelen om gevaren te signaleren. Anthropic, zei hij, zal zich hier onmiddellijk aan committeren en hoopt dat concurrenten volgen. De tweede: AI-bedrijven in democratische landen komen – mogelijk met overheidssteun – bepaalde limieten en veiligheidsnormen overeen. De derde en moeilijkste opgave: "mondiale coördinatie", wat vooral betekent dat China aan boord moet komen. De techwereld is hierover verdeeld. Sommigen stellen dat samenwerking onmogelijk is in een zero-sum wedstrijd; anderen geloven dat de landen gemeenschappelijke grond kunnen vinden als ze accepteren dat het alternatief wederzijdse vernietiging is.

Publieke oproepen tot voorzichtigheid van AI-coryfeeën zijn een traditie die bijna zo oud is als ChatGPT. De eerste grote kwam in maart 2023, toen duizenden figuren uit de industrie en academische wereld een brief van het Future of Life Institute ondertekenden met de oproep tot een pauze van zes maanden op "gigantische AI-experimenten". Amodei zei vandaag dat hij dat idee destijds "weinig zinvol" vond, omdat GPT-4 niet krachtig genoeg was om zo eng te zijn. "Vandaag is het beeld echter totaal anders," schreef hij. Ondertussen is het publiek op gaan letten. Peilingen tonen dat Amerikanen zich meer zorgen maken en bozer worden over ongecontroleerde AI, wat een opvallend bipartisan populistische beweging tegen de technologie aanwakkert.

Sommigen zullen Amodei's essay afdoen als het zoveelste zuurpruimerige posturing van een bestuurder met een belang erbij dat mensen geloven dat zijn technologie ongekend is. (Anthropic's beursgang, gepland voor volgende maand, zou zo'n $100 miljard aan investeringen kunnen opleveren, waardoor het bedrijf $2 biljoen waard wordt, volgens The Wall Street Journal.) AI-sceptici en accelerationisten neigen dergelijke waarschuwingen als "doomerism" te bespotten. Sceptici zien een uitgebreide marketingpitch: Oh nee, onze producten worden te krachtig! Accelerationisten doen het af als een cynische truc van gevestigde partijen om de technologie af te schermen.

Maar Occams scheermes suggereert dat Amodei min of meer oprecht is. Bijna iedereen met een baan en een geweten kan zich identificeren met het gevoel dat je echt zou moeten vertragen en voorzichtiger te werk gaan – maar je kunt het je niet veroorloven, omdat een concurrent je voor zal zijn. Ik voel een (toegegeven, minder apocalyptische) versie daarvan bij het schrijven van een breaking-newsartikel. Ik