Anthropic szykuje się na bardzo poważną rozmowę z globalnym nadzorcą finansowym na temat swojego modelu AI Claude Mythos, który ekspertów przyprawia o palpitacje serca swoim potencjałem do niszczenia cyberobrony.

Amerykański startup będzie informować Radę Stabilności Finansowej (FSB), której przewodniczy sam gubernator Banku Anglii Andrew Bailey, o implikacjach Mythos. Bo cóż może pójść nie tak, gdy wypuścisz w świat AI, które jest naprawdę dobre w znajdowaniu dziur w systemach IT?

Anthropic mądrze odmówił publicznego udostępnienia Mythos, ogłaszając, że model AI ma zaawansowane zdolności do wykrywania wcześniej nieznanych luk w systemach IT – luk, które hakerzy uwielbiają wykorzystywać. Zamiast tego firma udostępniła go wybranej grupie firm technologicznych i banków, w tym Apple i JP Morgan, aby pomóc im zidentyfikować słabości, które AI może wywęszyć. Plan FSB, o którym pierwszy doniósł Financial Times, został potwierdzony przez źródło zaznajomione z rozmowami regulatora z Anthropic.

Brytyjski Instytut Bezpieczeństwa AI (AISI), który ocenia zaawansowane modele AI, opublikował w zeszłym tygodniu zaktualizowaną ocenę Mythos po przeanalizowaniu wersji udostępnionej bankom i firmom technologicznym. Stwierdził, że najnowsza iteracja stanowi „znaczący skok możliwości” nawet w porównaniu z wersją testowaną w poprzednim miesiącu. AISI zauważył, że najnowsza wersja Mythos ukończyła wcześniej nierozwiązany test cyberbezpieczeństwa o nazwie „wieża chłodnicza” w trzech na dziesięć prób – pierwszy taki przypadek dla dowolnego modelu testowanego przez instytut.

„Autonomiczne zdolności cybernetyczne i programistyczne AI na granicy możliwości szybko się rozwijają: długość zadań cybernetycznych, które modele graniczne mogą wykonać autonomicznie, podwoiła się w skali miesięcy, a nie lat” – powiedział AISI, dodając, że opracowuje nowe, trudniejsze testy hakerskie, aby śledzić postępy modeli AI. Bo najwyraźniej stare testy już nie wystarczają.

FSB monitoruje i wydaje zalecenia dotyczące globalnego systemu finansowego, a w jego skład wchodzą urzędnicy z wiodących gospodarek, w tym USA, Wielkiej Brytanii, Australii i Chin. W jego komitecie sterującym zasiadają wysocy rangą urzędnicy banków centralnych i ministerstw finansów. W tym miesiącu Międzynarodowy Fundusz Walutowy stwierdził, że ryzyko dla stabilności finansowej rośnie z powodu „szybko zmieniających się” wydarzeń w AI i wezwał do skoordynowanej odpowiedzi. „Ryzyko cybernetyczne nie zna granic. W miarę rozprzestrzeniania się możliwości AI w różnych krajach, niespójny nadzór może osłabić globalnie połączony system” – powiedział MFW w poście na blogu, najwyraźniej nie w nastroju do niedomówień.

W zeszłym miesiącu dyrektor generalny Goldman Sachs, David Solomon, powiedział, że jest „hiperświadomy” możliwości Mythos, podczas gdy jego odpowiednik z JP Morgan, Jamie Dimon, zauważył, że AI uczyniło cyberobronę „trudniejszą”, nawet jeśli ostatecznie może pomóc firmom bronić się przed hakerami. Inni eksperci próbowali uspokoić nastroje, argumentując, że Mythos stanowi ewolucję, a nie rewolucję w zagrożeniach cybernetycznych. Eksperci ds. cyberbezpieczeństwa ostrzegają, że większość naruszeń nadal pochodzi z dobrze znanych zagrożeń, takich jak słabe uwierzytelnianie i już znane luki, które nie zostały załatane. Więc, wiecie, nie zapomnijcie zaktualizować swoich haseł.

Zapytany o wiadomość, że FSB będzie oceniać ryzyko Mythos na konferencji City Week w Londynie, dyrektor wykonawczy Urzędu Nadzoru Finansowego, Nikhil Rathi, powiedział, że rozwój AI był „znaczącym tematem rozmów” na spotkaniach MFW w Waszyngtonie w zeszłym miesiącu. Zauważył, że Bailey jest „zaangażowany” w tę kwestię i że trwa współpraca z władzami USA. Rathi wskazał również na wytyczne opublikowane w zeszłym tygodniu przez brytyjskich regulatorów i Ministerstwo Skarbu, które nakazują firmom „podwoić wysiłki” w zakresie „podstawowej higieny cybernetycznej”. Oznacza to „przyjrzenie się swoim starszym systemom, posiadanie dobrych mechanizmów wykrywania, dobrego zarządzania, myślenie o tym, jak się odzyskuje dane, myślenie o ubezpieczeniu” – powiedział. Rathi dodał, że „Anthropic zachowało się dość