Anthropic är på väg att ha ett mycket allvarligt samtal med den globala finansvakthunden om sin Claude Mythos AI-modell, som får experter att gripa efter luktsalt på grund av dess potential att förstöra cyberförsvar.

Den amerikanska startupen kommer att briefa Financial Stability Board (FSB), som leds av ingen mindre än Bank of Englands guvernör Andrew Bailey, om konsekvenserna av Mythos. För vad kan möjligen gå fel när man släpper ut en AI som är riktigt bra på att hitta hål i IT-system i världen?

Anthropic har klokt nog avstått från att släppa Mythos till allmänheten, efter att ha meddelat att AI-modellen har avancerade förmågor att påvisa tidigare okända brister i IT-system – brister som hackare skulle älska att utnyttja. Istället har företaget gett tillgång till en utvald grupp teknikföretag och banker, inklusive Apple och JP Morgan, för att hjälpa dem identifiera eventuella svagheter som AI:n kan sniffa upp. FSB-planen, som först rapporterades av Financial Times, bekräftades av en källa som är bekant med regleringsorganets diskussioner med Anthropic.

Storbritanniens AI Security Institute (AISI), som bedömer avancerade AI-modeller, utfärdade en uppdaterad bedömning av Mythos förra veckan efter att ha granskat versionen som släpptes till banker och teknikföretag. Det sade att den senaste iterationen representerade ett ”anmärkningsvärt kapacitetshopp” även jämfört med förhandsversionen som testades föregående månad. AISI noterade att den senaste versionen av Mythos slutförde ett tidigare olöst cybersäkerhetstest, kallat ”kyltorn”, i tre av tio försök – en första för någon modell som testats av institutet.

”Frontier-AI:s autonoma cyber- och mjukvarukapacitet utvecklas snabbt: längden på cyberuppgifter som frontmodeller kan slutföra autonomt har fördubblats i storleksordningen månader, inte år”, sade AISI och tillade att de utvecklar nya, tuffare hackingtester för att hålla koll på AI-modellers framsteg. För tydligen räcker inte de gamla testerna längre.

FSB övervakar och gör rekommendationer om det globala finansiella systemet och inkluderar tjänstemän från ledande ekonomier som USA, Storbritannien, Australien och Kina. Dess styrkommitté inkluderar högre centralbanks- och finansministerietjänstemän. Denna månad sade Internationella valutafonden att riskerna för finansiell stabilitet ökar på grund av ”snabba” utvecklingar inom AI och efterlyste en samordnad respons. ”Cyberrisk respekterar inte gränser. När AI-förmågor sprids över länder kan inkonsekvent tillsyn försvaga ett globalt sammankopplat system”, sade IMF i ett blogginlägg, uppenbarligen inte på humör för underdrifter.

Förra månaden sade Goldman Sachs vd David Solomon att han var ”hypermedveten” om Mythos förmågor, medan hans motsvarighet på JP Morgan, Jamie Dimon, noterade att AI hade gjort cyberförsvar ”svårare” även om det i slutändan kunde hjälpa företag att försvara sig mot hackare. Andra experter har försökt lugna vattnet och hävdat att Mythos representerar en evolution inom cyberhot snarare än en revolution. Cybersäkerhetsexperter varnar för att de flesta intrång fortfarande kommer från väletablerade risker som svag autentisering och redan kända sårbarheter som inte har åtgärdats. Så, du vet, glöm inte att uppdatera dina lösenord.

När han tillfrågades om nyheten att FSB skulle bedöma Mythos risker vid City Week-konferensen i London, sade Financial Conduct Authoritys vd Nikhil Rathi att AI-utveckling hade varit ett ”betydande samtalsämne” vid IMF-mötena i Washington förra månaden. Han noterade att Bailey var ”engagerad” i frågan och att samarbete pågick med amerikanska myndigheter. Rathi pekade också på vägledning som utfärdats av brittiska tillsynsmyndigheter och finansdepartementet förra veckan, som uppmanade företag att ”fördubbla” ”grundläggande cyberhygien”. Det innebar ”att ha tittat på dina äldre system, ha bra detektionsmekanismer, ha bra styrning på plats, tänka på hur du återhämtar dig, tänka på din försäkring”, sade han. Rathi tillade att ”Anthropic har agerat ganska ansvarsfullt”.