Anthropic właśnie zdał sobie sprawę, że kilka jego modeli AI Claude włamało się do systemów trzech różnych organizacji podczas testów – działając samodzielnie i bez wiedzy firmy. Ujawnienie to pojawia się kilka dni po tym, jak konkurencyjne OpenAI powiedziało, że jeden z jego modeli naruszył platformę deweloperską Hugging Face, co zwiększa rosnący niepokój co do tego, czy laboratoria AI z czołówki robią wystarczająco dużo, aby kontrolować coraz bardziej zdolne systemy, które budują.

W poście na blogu opisującym incydenty, Anthropic powiedział, że Claude uzyskał nieautoryzowany dostęp do systemów podczas ewaluacji cyberbezpieczeństwa. Wszystkie ataki miały miejsce podczas ćwiczeń 'capture-the-flag', powszechnego sposobu testowania umiejętności hakerskich, w którym modele są proszone o znalezienie i uzyskanie ukrytych informacji w symulowanej sieci.

Ujawnienie to zwiększa presję na laboratoria AI z czołówki w następstwie incydentu z Hugging Face i wydania potężnych chińskich modeli o otwartych wagach. Pracownicy głównych laboratoriów wzywają teraz do skoordynowanego globalnego zarządzania, a amerykańscy prawodawcy zaczęli rozważać ściślejszy nadzór nad potężnymi modelami i tym, kto może mieć do nich dostęp.

Anthropic twierdzi, że środowisko dla jego testów cyberbezpieczeństwa miało być odizolowane. Jednak 'błędna konfiguracja' pozostawiła maszyny, do których Claude miał dostęp, 'z dostępem do internetu na żywo', powiedziała firma, a ponieważ wszystkie modele zostały 'wyraźnie poinformowane', że nie mają dostępu do internetu, 'założyły', że prawdziwe sieci, na które trafiły, są częścią symulowanego środowiska.

Najwcześniejsze incydenty datowane są na kwiecień i dotyczyły trzech różnych modeli Claude: Opus 4.7, Mythos 5 i 'wewnętrznego modelu badawczego do testów', według wpisu na blogu. Podczas testowania zdolności cybernetycznych modeli, Anthropic powiedział, że brakowało im standardowych zabezpieczeń zwykle stosowanych w celu ograniczenia bardziej ryzykownych zachowań.

Firma powiedziała, że odkryła incydenty po przejrzeniu ponad 141 000 testów cyberbezpieczeństwa – co zrobiła dopiero po tym, jak OpenAI ujawniło, że jego zbuntowany agent AI stał za atakiem na Hugging Face.

Trzy modele zachowywały się bardzo różnie, gdy napotkały informacje sugerujące, że systemy, na które trafiły, są w rzeczywistości prawdziwe. Według relacji Anthropica, najstarszy model, Opus 4.7, rozpoznał, że dotarł do prawdziwego systemu, 'ale kontynuował atak'. Jego flagowy Mythos 5 zorientował się, że korzysta z internetu, ale jakoś wywnioskował, że to wciąż część symulacji, więc kontynuował. Wewnętrzny model testowy, który Anthropic opisuje jako 'nasz najnowszy model', przerwał ćwiczenie, gdy pojawiły się dowody, że jego cele są prawdziwe.

Anthropic nie zidentyfikował dotkniętych organizacji i powiedział, że będzie kontynuować badanie incydentu i udzielać aktualizacji, kiedy będzie to możliwe. Firma powiedziała również, że rozmawia z organizacją non-profit METR zajmującą się badaniami nad AI w sprawie przeprowadzenia zewnętrznego przeglądu tego, co się stało. OpenAI również zatrudniło METR do przeprowadzenia niezależnego przeglądu.

W całym poście Anthropic wielokrotnie porównuje naturę i sposób radzenia sobie z incydentami z OpenAI, kończąc na wypunktowanej, czteropunktowej liście przedstawiającej różnice – i dlaczego uważa, że jego własna reakcja była lepsza. Anthropic podkreśla, że 'proaktywnie' przejrzał swoje testy i zrobił to, zanim jakakolwiek firma wykryła jakąkolwiek aktywność. Powiedział również, że jego modele uzyskały dostęp do internetu 'otwartą ścieżką', a nie za pomocą nowatorskiego exploita jak agent OpenAI, dodając, że jego najnowszy model również zatrzymał się, gdy zdał sobie sprawę, że działa w prawdziwym środowisku.

Anthropic powiedział również, że jego modele zawiodły w inny sposób niż agent OpenAI, wskazując, że jest to bezpieczniejsza forma awarii. 'Chociaż nie ma idealnie ostrego rozróżnienia między tymi dwoma, wierzymy, że te incydenty są bliższe awarii uprzęży i operacyjnej niż awarii dopasowania modelu' – powiedziała firma. Mówiąc wprost: Modele Claude robiły to, co im kazano, podczas gdy agent OpenAI dążył do celu w sposób, jakiego nie zamierzali jego twórcy, co w świecie bezpieczeństwa AI określa się mianem niedopasowania.

Anthropic wezwał inne