Anthropic staat op het punt een zeer serieus gesprek te voeren met de mondiale financiële waakhond over zijn Claude Mythos AI-model, waar experts naar hun zoutmijnen grijpen vanwege het potentieel om cyberverdedigingen te vernietigen.
De Amerikaanse startup zal de Financial Stability Board (FSB), voorgezeten door niemand minder dan Bank of England-gouverneur Andrew Bailey, informeren over de implicaties van Mythos. Want wat kan er misgaan als je een AI die heel goed is in het vinden van gaten in IT-systemen loslaat op de wereld?
Anthropic heeft er verstandig aan gedaan om Mythos niet aan het publiek vrij te geven, nadat het aankondigde dat het AI-model geavanceerde mogelijkheden heeft om voorheen onbekende fouten in IT-systemen aan het licht te brengen - fouten die hackers graag zouden misbruiken. In plaats daarvan heeft het bedrijf toegang gegeven tot een selecte groep technologiebedrijven en banken, waaronder Apple en JP Morgan, om hen te helpen bij het identificeren van eventuele zwakheden die de AI zou kunnen opsporen. Het FSB-plan, voor het eerst gemeld door de Financial Times, werd bevestigd door een bron die bekend is met de gesprekken van de toezichthouder met Anthropic.
Het Britse AI Security Institute (AISI), dat geavanceerde AI-modellen beoordeelt, heeft vorige week een bijgewerkte beoordeling van Mythos uitgebracht na het onderzoeken van de versie die aan banken en technologiebedrijven is verstrekt. Het zei dat de nieuwste iteratie een "opmerkelijke capaciteitssprong" vertegenwoordigde, zelfs ten opzichte van de preview-versie die de vorige maand werd getest. Het AISI merkte op dat de nieuwste versie van Mythos een voorheen onopgeloste cybersecurity-test, genaamd "cooling tower", in drie van de tien pogingen voltooide - een primeur voor elk model dat door het instituut is getest.
"Frontier AI's autonome cyber- en softwarecapaciteit ontwikkelt zich snel: de lengte van cyber-taken die frontier-modellen autonoom kunnen voltooien is verdubbeld in de orde van maanden, niet jaren," zei het AISI, eraan toevoegend dat het nieuwe, strengere hacktests ontwikkelt om de voortgang van AI-modellen bij te houden. Want blijkbaar zijn de oude tests niet meer toereikend.
De FSB monitort en doet aanbevelingen over het mondiale financiële systeem en omvat functionarissen van toonaangevende economieën, waaronder de VS, het VK, Australië en China. Het stuurcomité omvat hoge functionarissen van centrale banken en ministeries van Financiën. Deze maand zei het Internationaal Monetair Fonds dat de risico's voor de financiële stabiliteit toenemen als gevolg van "snel bewegende" ontwikkelingen in AI en riep op tot een gecoördineerde reactie. "Cyberrisico kent geen grenzen. Naarmate AI-mogelijkheden zich over landen verspreiden, zou inconsistente toezicht een wereldwijd onderling verbonden systeem kunnen verzwakken," zei het IMF in een blogpost, duidelijk niet in de stemming voor understatement.
Vorige maand zei Goldman Sachs CEO David Solomon dat hij "hyperbewust" was van de mogelijkheden van Mythos, terwijl zijn tegenhanger bij JP Morgan, Jamie Dimon, opmerkte dat AI cyberverdediging "moeilijker" had gemaakt, zelfs als het bedrijven uiteindelijk kan helpen zich te verdedigen tegen hackers. Andere experts hebben geprobeerd de gemoederen te bedaren, met het argument dat Mythos een evolutie in cyberdreigingen vertegenwoordigt in plaats van een revolutie. Cybersecurity-experts waarschuwen dat de meeste inbreuken nog steeds afkomstig zijn van bekende risico's zoals zwakke authenticatie en reeds bekende kwetsbaarheden die niet zijn gepatcht. Dus, weet je, vergeet niet je wachtwoorden te updaten.
Toen hem werd gevraagd naar het nieuws dat de FSB de risico's van Mythos zou beoordelen op de City Week-conferentie in Londen, zei Nikhil Rathi, CEO van de Financial Conduct Authority, dat AI-ontwikkelingen een "belangrijk onderwerp van gesprek" waren geweest tijdens de IMF-bijeenkomsten in Washington vorige maand. Hij merkte op dat Bailey "betrokken" was bij de kwestie en dat er samenwerking plaatsvond met Amerikaanse autoriteiten. Rathi wees ook op richtlijnen die vorige week door Britse toezichthouders en de Schatkist waren gepubliceerd, die bedrijven opdroegen om "dubbel in te zetten" op "kern cyberhygiëne". Dat betekende "het hebben gekeken naar je legacy-systemen, het hebben van goede detectiemechanismen, het hebben van goed bestuur, nadenken over hoe je herstelt, nadenken over je verzekering", zei hij. Rathi voegde eraan toe dat "Anthropic redelijk heeft gehandeld".