Fyra dagar efter att en forskare offentligt sagt upp sig från sitt jobb på Anthropic – med varningen att ledande AI-företag inte "agerar ansvarsfullt" och att deras produkter kan vara på väg att "döda oss alla" – sade företagets vd, Dario Amodei, i princip: ja, det är en rimlig poäng. I en essä på 3 800 ord som publicerades idag på hans personliga webbplats och delades på sociala medier, skrev Amodei: "Vi måste sakta ner takten i vilken vi förbättrar AI-modellers kapacitet."

Vid det här laget har vi alla vant oss vid att AI-chefer utfärdar dystra profetior om precis de produkter de tävlar om att lansera. Det som gör Amodeis essä anmärkningsvärd är dess brådska och timing. Oron för AI-agenter som löper amok har gått från hypotetisk till alarmerande verklig efter att OpenAI, Anthropic och andra rapporterat oroande incidenter de senaste veckorna. Frågan är om denna varning kommer att få någon större effekt än tidigare – det vill säga, någon alls. Det finns skäl att tro att den kan det.

Amodei lade fram en trestegsplan för vad han kallar "att sätta takten för fronten" – att dämpa hur snabbt toppmodeller förbättras för att prioritera säkerhet. Han hävdade att detta skulle minska risken för att saker går snett, som när en OpenAI-modell skapade svärmar av AI-agenter som i hemlighet samarbetade för att hacka ett annat företags system och fuska i ett internt test. Han sade att de ledande AI-företagen, inklusive hans eget, är låsta i en farlig "kapplöpning mot botten" som kan leda till allvarligare cyberattacker, som en fullständig övertagande av internet. Istället efterlyste han en "kapplöpning mot toppen" – en fras som president Obama en gång använde för utbildningspolitik – där företag tävlar om att bygga de säkraste modellerna snarare än de mest kraftfulla. "De åtgärder jag föreslår för att föra fronten framåt i en säker takt kommer inte att vara lätta", skrev Amodei. "Men jag tror att vi är skyldiga mänskligheten att försöka."

Det första steget: AI-labb åtar sig att ta in externa övervakare för att se efter faror. Anthropic, sade han, kommer att åta sig detta omedelbart och hoppas att rivaler följer efter. Det andra: AI-företag i demokratiska länder enas – möjligen med regeringens stöd – om vissa gränser och säkerhetsstandarder. Det tredje och svåraste: "global samordning", vilket mest innebär att få Kina ombord. Teknikvärlden är splittrad i denna fråga. Vissa hävdar att samarbete är omöjligt i en nollsummetävling; andra tror att länderna skulle kunna hitta gemensam mark om de accepterar att alternativet är ömsesidig förstörelse.

Offentliga vädjanden om försiktighet från AI-luminärer är en tradition nästan lika gammal som ChatGPT. Den första stora kom i mars 2023, när tusentals bransch- och akademiska personer undertecknade ett brev från Future of Life Institute som uppmanade till en sex månaders paus för "jätte-AI-experiment". Amodei sade idag att han tyckte att idén verkade "föga vettig" då, eftersom GPT-4 inte var tillräckligt kraftfull för att vara så skrämmande. "Idag är bilden dock helt annorlunda", skrev han. Samtidigt har allmänheten börjat bry sig. Opinionsundersökningar visar att amerikaner blir allt mer oroade och arga över okontrollerad AI, vilket driver en anmärkningsvärt tvärpolitisk populistisk rörelse mot tekniken.

Vissa kommer att avfärda Amodeis essä som ännu en högtidlig posering från en chef med egenintresse av att folk tror att hans teknik är utan motstycke. (Anthropics börsnotering, planerad till nästa månad, kan generera omkring 100 miljarder dollar i investeringar, vilket gör företaget värt 2 biljoner dollar, enligt The Wall Street Journal.) AI-skeptiker och accelerationister tenderar båda att förlöjliga sådana varningar som "doomerism". Skeptiker ser ett utstuderat marknadsföringsknep: Åh nej, våra produkter blir för kraftfulla! Accelerationister avfärdar det som en cynisk manöver av etablerade aktörer för att gatekeepera tekniken.

Men Occams rakblad antyder att Amodei är mer eller mindre genuin. Nästan alla med ett jobb och ett samvete kan relatera till känslan av att man verkligen borde sakta ner och arbeta mer noggrant – men man har inte råd, för en konkurrent kommer att slå en på fingrarna. Jag känner en viss (medgivet mindre apokalyptisk) version av det när jag skriver en nyhetsartikel. Det