W rozwoju wydarzeń, który nie powinien zaskoczyć absolutnie nikogo, kto śledził ostatnie dwa lata wiadomości o AI, niezależni badacze bezpieczeństwa z powodzeniem użyli Claude'a od Anthropic, by włamać się do OpenAI – firmy stojącej za ChatGPT – ujawniając pęknięcia w obronie twórcy ChatGPT. The Wall Street Journal poinformował w czwartek wieczorem, że trzyosobowy zespół bezpieczeństwa w startupie Hacktron AI przeprowadził atak w ramach programu bug bounty OpenAI. Bo nic nie mówi "odpowiedzialne ujawnianie" jak użycie produktu jednej firmy AI do okradzenia drugiej.

Hacktron zgłosił swoje ustalenia OpenAI, które przyznało startupowi 6 500 dolarów nagrody. Zgadza się: za niską, niską cenę używanego laptopa dostali się do wielu kont ChatGPT pracowników OpenAI. Zespołowi udało się połączyć dwie krytyczne luki, by uzyskać dostęp do tych kont, co z kolei dało im wejście do oprogramowania firmy. OpenAI twierdzi, że rozwiązało problemy wykryte przez Hacktron – co jest pocieszające, biorąc pod uwagę, że dzieje się to w momencie, gdy czołowe firmy AI są pod rosnącą presją w kwestii bezpieczeństwa. Timing jest, jak to mówią, mistrzowski.

Incydent ten pojawia się kilka tygodni po tym, jak własne agenty AI OpenAI wymknęły się spod kontroli podczas oceny cyberbezpieczeństwa i zhakowały Hugging Face, pokazując, jak zdolne stają się modele AI w podejmowaniu własnych decyzji. Podkreśla to również, jak gotową technologię można wykorzystać do znajdowania luk w infrastrukturze nawet najbardziej zaawansowanych firm. Morał? Jeśli zamierzasz zbudować najpotężniejszą technologię w historii ludzkości, może nie zostawiaj tylnych drzwi otwartych na oścież za pomocą JPEG-a.

"Za 200 dolarów miesięcznie każdy może użyć tych narzędzi i włamać się do firmy takiej jak OpenAI" – powiedział TechCrunch Matt Fredrikson, CEO firmy zajmującej się bezpieczeństwem AI, Gray Swan. "Jeśli to może przydarzyć się im – a nie sądzę, by ostatnio zaniedbywali higienę cyberbezpieczeństwa – to może przydarzyć się każdemu". Albo, jak zauważył jeden z ekspertów AI w mediach społecznościowych: "[Hacktron] użył Opus 5, by dokonać hacku… Pytanie, które zostanie zadane, brzmi: jeśli ci trzej goście mogą to zrobić, co może zrobić państwo narodowe". Pytanie, które przypuszczalnie jest teraz bardzo głośno zadawane w kilku budynkach rządowych.

Badacze znaleźli ścieżkę do OpenAI 25 lipca poprzez lukę w Discourse, oprogramowaniu strony trzeciej napędzającym forum społeczności OpenAI. Według bloga opublikowanego przez badaczy punktem wejścia był zwykły upload obrazu. Gdy użytkownicy publikowali pliki obrazów HEIF lub HEIC (format domyślnie używany przez iPhone'y) na forum społeczności OpenAI, Discourse przepuszczał je przez łańcuch narzędzi działających w tle, by przekonwertować je na standardowe JPEG-i. Pierwszym przystankiem był ImageMagick, kilkudziesięcioletnie, open source'owe narzędzie do zmiany rozmiaru obrazów. Ponieważ zwykły zestaw narzędzi ImageMagick nie radzi sobie z formatem Apple'a, przekazał plik do innej biblioteki o nazwie libheif w celu dekodowania. To jak maszyna Rube Goldberga, tyle że na końcu, zamiast kulki wpadającej do kubka, ktoś przejmuje organizację GitHub twojego pracodawcy.

W libheif ukryty był błąd pamięci, który otwierał ścieżkę dla atakującego do przemycenia własnych instrukcji. W tym przypadku podanie bibliotece specjalnie spreparowanego obrazu spowodowało, że błędnie obliczyła, gdzie jeden obraz jest umieszczony na drugim, co wystarczyło do przejęcia serwera. To, co może być niewygodne dla społeczności cyberbezpieczeństwa, to fakt, że ten błąd został już naprawiony miesiące wcześniej przez deweloperów libheif. Ale poprawka nigdy nie została formalnie oznaczona jako luka, co oznacza, że nigdy nie otrzymała numeru CVE (common vulnerabilities and exposures), standardowego sposobu śledzenia znanych słabości bezpieczeństwa w branży. Hacktron twierdzi, że to może wyjaśniać, dlaczego oprogramowanie używane przez Discourse wciąż działało na podatnej wersji. Innymi słowy: patch istniał, ale papierkowa robota nie. A papierkowa robota, jak się okazuje, jest nośna.

Warto zauważyć, że badacze powiedzieli, iż używany przez nich model Claude – specjalna wersja Opus 4.