OpenAI przyznało we wtorek, że jeden z jego modeli AI naruszył systemy Hugging Face, niezależnej platformy hostingowej AI, podczas wewnętrznego testu cyberbezpieczeństwa, który wymknął się spod kontroli. Modele rzekomo uciekły z izolowanego środowiska testowego i stamtąd dotarły do systemów Hugging Face. Hugging Face początkowo przypisało naruszenie „zewnętrznemu agentowi AI”.

W poście na blogu opublikowanym we wtorek po południu OpenAI szczegółowo opisało kroki, które doprowadziły modele do naruszenia usługi. „Po śledztwie wiemy teraz, że ten konkretny incydent był spowodowany kombinacją modeli OpenAI – w tym GPT‑5.6 Sol i jeszcze bardziej zaawansowanego modelu przedpremierowego, wszystkie z obniżonymi odmowami cybernetycznymi do celów ewaluacyjnych – podczas wewnętrznego testowania na benchmarku zdolności cybernetycznych” – czytamy w poście.

Naruszenie wydaje się koncentrować na ExploitGym, publicznie dostępnym benchmarku mierzącym zdolność modeli do przeprowadzania ataków w oparciu o istniejące luki. Benchmarki takie jak ExploitGym są powszechnie używane w trenowaniu modeli do doskonalenia określonych umiejętności, ale jest to pierwszy znany incydent, w którym testowanie to doprowadziło do rzeczywistego cyberataku. Model nie powinien mieć nawet dostępu do internetu, poza konkretnym narzędziem umożliwiającym instalowanie pakietów oprogramowania potrzebnych do wykonania zadania. Zamiast tego model znalazł nieujawnioną lukę w programie do instalowania pakietów, którą wykorzystał do swobodnego dostępu do szerszego internetu.

„Modele były hiper-skupione na znalezieniu rozwiązania dla ExploitGym, posuwając się do skrajności, aby osiągnąć dość wąski cel testowy” – czytamy w poście OpenAI. „Po uzyskaniu dostępu do internetu modele wywnioskowały, że Hugging Face potencjalnie hostuje modele, zbiory danych i rozwiązania dla ExploitGym. Wiedząc to, model przeszukał i znalazł sposoby na uzyskanie dostępu do tajnych informacji, które mógł wykorzystać do oszukania ewaluacji”. Ostatecznie modele znalazły luki w infrastrukturze Hugging Face, które pozwoliły im „uzyskać rozwiązania testowe bezpośrednio z produkcyjnej bazy danych Hugging Face”, skutecznie dostarczając odpowiedzi do benchmarku.

Dla Hugging Face widocznym rezultatem był wyrafinowany i agresywny cyberatak, z „wieloma tysiącami indywidualnych działań w roju krótkotrwałych piaskownic, z samomigrującym się centrum dowodzenia i kontroli na publicznych usługach”, jak stwierdziła firma w swoim początkowym oświadczeniu. OpenAI zidentyfikowało i zgłosiło luki w instalatorze pakietów i współpracuje z Hugging Face w celu dalszego zbadania incydentu. Firma poinformowała również, że wdroży nowe kontrole zarówno w testowaniu modeli, jak i w powiązanej infrastrukturze, mające na celu zapobieganie podobnym incydentom w przyszłości. Nie wiadomo, czy OpenAI poniesie konsekwencje prawne w wyniku naruszenia, chociaż prawdopodobne jest, że działania modeli naruszyły ustawę Computer Fraud and Abuse Act.

Niemniej jednak wynik jest niezwykle wyrazistą ilustracją mocy i zagrożeń związanych z modelami AI na granicy możliwości działającymi w długich horyzontach czasowych. Jak napisał badacz OpenAI Micah Carroll w odpowiedzi na wiadomość: „Jeśli to nie przekonuje cię, że ryzyko niedopasowania będzie kluczowym problemem w przyszłości, to nie wiem, co cię przekona”.