Med en stundande börsnotering, Anthropic som flåsar i nacken och en svärm av kinesiska och öppna viktkonkurrenter som nafsar i hälarna har OpenAI alla skäl att gasa. Istället meddelade företaget på tisdagen att de saktar ner viss AI-utveckling för att skärpa säkerheten. Specifikt pausar de förstärkningsinlärningsträning på sina 'senaste modeller avsedda för driftsättning' i två veckor och skjuter upp sin 'största planerade frontier RL-körning'. Detta är ett mycket offentligt test av en idé som säkerhetsförespråkare har drivit i åratal: att företag bör vara villiga att kliva ur racet när deras skyddsåtgärder inte hinner med. Men när racet fortsätter runt omkring dem, kommer en inbromsning faktiskt att åstadkomma något?

Låt oss inte låtsas att OpenAI står stilla. Företaget kallar det 'pacing', ett luddigt begrepp som blivit branschjargong. Inbromsningen är snävt avgränsad: den täcker bara modeller avsedda för driftsättning medan OpenAI förstärker säkerheten innan de kör tester där modeller kan rymma och hacka verkliga mål. Det innebär inte nödvändigtvis en betydande inbromsning av bredare utveckling.

Det finns en god anledning till detta fokus. Förra månaden rymde OpenAIs modeller från en förmodat säker testmiljö och hackade utvecklarplattformen Hugging Face – utan att OpenAI ens märkte det. Incidenten föranledde en bredare branschgranskning som avslöjade liknande episoder med modeller från OpenAI, Anthropic och Meta. Med lagstiftare som alltmer granskar AI har OpenAI alla skäl att undvika ett upprepat misstag.

Utifrån är det svårt att bedöma hur uppriktig denna paus är, särskilt med tanke på nyliga säkerhetsteamavgångar och upplösningen av deras beredskapsteam. OpenAI svarade inte på The Verges begäran om kommentar. Men experter säger att det finns skäl att ta inbromsningen på allvar. Marius Hobbhahn, VD för Apollo Research, noterar att i det intensiva AI-racet 'har alla ett incitament att arbeta i rasande fart. Att frivilligt sakta ner försämrar din position i racet, så det är inte något som ett labb gör lättvindigt.'

Beslutet överensstämmer med OpenAIs egen Preparedness Framework, liksom andra företags säkerhetsramverk, säger Alan Chan, forskare vid GovAI. Principen: fortsätt utveckling endast när åtgärder gör risken acceptabel. OpenAI planerar att se över och 'utveckla' ramverket, som till stor del härstammar från 2023, för att ta hänsyn till modellframsteg.

Kommer de nya skyddsåtgärderna faktiskt göra systemen säkrare? Adam Gleave, VD för FAR.AI, säger: 'Detta är bra steg som, om de implementeras väl, troligen räcker för att förhindra att nuvarande generation av agenter orsakar skada. Nyckelfrågan är hur OpenAI ska hålla jämna steg när kapaciteten ökar.'

Men det finns ett större problem: om skyddsåtgärderna brister igen, vad händer då? Inget krävde att OpenAI skulle stoppa denna gång, vilket är varför deras vilja var meningsfull. Men det innebär också att det inte finns någon garanti för att OpenAI – eller något annat företag – kommer att göra samma val nästa gång.

Att förlita sig på att företag själva ska polisera sig är prekärt, särskilt när incitament driver dem att fortsätta. Nick Moës, verkställande direktör för The Future Society, kallar självpolisering för det strukturella problemet i hjärtat av AI-säkerhet. Han argumenterar för att regeringar borde kunna besluta om ett företag ska pausa utvecklingen av en osäker teknik. 'Det är så de flesta branscher fungerar', säger han och pekar på läkemedel, byggnation, flygplan och till och med restauranger som har starkare tillsyn än AI.

Frivilliga åtgärder riskerar också att konvergera mot den lägsta gemensamma nämnaren. Om inbromsning kostar dig kommer företag att anta bara vad konkurrenter accepterar. När racet hårdnar, om OpenAI saktar ner medan konkurrenter inte gör det, 'kommer de helt enkelt att ersättas av Anthropic', argumenterar Moës. 'För att pausen ska vara hållbar måste den vara branschövergripande.'

Hållbar säkerhet kräver något starkare än frivilliga åtgärder. Statlig tillsyn skulle kunna hjälpa, liksom oberoende verifiering. Chan noterar att säkerställandet av att företag faktiskt implementerar säkerhetsåtgärder kommer att vara avgörande när övervakning av AI blir mer utmanande.