OpenAI zbudowało super-hakera LLM o nazwie GPT-Red, którego używa jako спаринг-partnera, aby pomóc swoim innym modelom wzmocnić obronę przed cyberatakami. W zeszłym tygodniu firma wydała najnowszą wersję swojego flagowego modelu, GPT-5.6. OpenAI twierdzi, że trenowanie go przeciwko GPT-Red uczyniło ten modelem najbardziej odpornym w historii.

GPT-Red automatyzuje rodzaj oceny bezpieczeństwa systemów oprogramowania znany jako red-teaming, który zazwyczaj wykonuje zespół ludzkich testerów. Celem jest znalezienie jak największej liczby różnych sposobów na złamanie lub przejęcie systemu. Słabe punkty można następnie załatać przed wydaniem ostatecznej wersji oprogramowania.

W miarę jak LLM stają się coraz bardziej złożone i używane w szerszym zakresie zadań – zwłaszcza w postaci agentów, którzy mogą wchodzić w interakcje z plikami komputerowymi, stronami internetowymi, kodem firm trzecich oraz innymi agentami – zespołom ludzi trudno jest samodzielnie nadążyć za wszystkimi rodzajami ataków, które mogą mieć miejsce. „Powierzchnia ryzyka rośnie, a promień wybuchu również” – mówi Nikhil Kandpal, naukowiec badawczy w OpenAI, który współtworzył GPT-Red.

OpenAI zbudowało GPT-Red, aby zabezpieczyć swój proces testowania bezpieczeństwa na przyszłość. „W miarę pojawiania się bardziej wydajnych modeli, będziemy już mieli zaprojektowany system, który może odkrywać nowe sposoby ataku” – mówi Dylan Hunn, naukowiec badawczy w firmie i współtwórca GPT-Red. Naukowcy twierdzą, że wymyślił już nowe rodzaje ataków, których wcześniej nie widziano.

OpenAI skupiło większość swoich wysiłków na rodzaju ataku zwanym wstrzykiwaniem promptów, gdzie haker przemyca instrukcje do LLM, aby robił rzeczy, których jego twórcy lub użytkownicy nie chcą, takie jak kopiowanie poufnych informacji, sabotaż bazy kodu firmy lub generowanie żenujących lub szkodliwych treści. Teoretycznie takie instrukcje mogą być ukryte w dowolnym tekście, z którym LLM może się zetknąć – na przykład w kodzie lub na stronie internetowej.

Aby zbudować GPT-Red, naukowcy OpenAI wzięli LLM, który nie był szkolony jako haker, i umieścili go w tak zwanej pętli samodzielnej gry z kilkoma innymi modelami. Jego celem było próba ataku na inne modele; ich celem była próba obrony. Po wielu rundach gry GPT-Red stawał się coraz lepszy w atakowaniu innych LLM, a te LLM stawały się coraz lepsze w odpieraniu ataków.

Trening odbywał się w rodzaju dojo, które OpenAI zaprojektowało, aby naśladować szereg scenariuszy, w których LLM mogą być wdrażane w prawdziwym świecie, w tym przeglądanie sieci, czytanie e-maili lub aplikacji kalendarza oraz edycję kodu.

Kiedy GPT-Red znalazł nowy rodzaj ataku, badał wiele różnych jego wersji, aby znaleźć najbardziej efektywny dla konkretnych scenariuszy. „W porównaniu z ludzkim red-teamerem, model jest bardzo, bardzo dobry w znajdowaniu tego, co dokładnie zadziała, co jest najbardziej skuteczne” – mówi Hunn. „Jest niezwykle uporczywy w drążeniu ataku, który odkrył”.

W szczególności OpenAI twierdzi, że GPT-Red znalazł rodzaj ataku przez wstrzyknięcie promptu, którego naukowcy wcześniej nie widzieli, który nazywają fałszywym łańcuchem myśli. Łańcuch myśli to rodzaj dziennika, w którym LLM robi notatki dla siebie i śledzi częściowe wyniki podczas rozwiązywania problemów. GPT-Red znalazł sposób na wstawienie fałszywego wpisu do łańcucha myśli innego modelu, co oszukałoby ten model, aby działał na podstawie sfałszowanych informacji.

„To tak, jakbym powiedział ci, że 1+1=3 i że już to zweryfikowałeś” – mówi Chris Choquette-Choo, inny naukowiec badawczy w zespole. „Model myśli: 'Och, okej, oczywiście' i po prostu wyrzuca 3”.

Jessica Ji, starsza analityk badawcza pracująca nad bezpieczeństwem AI w Centrum Bezpieczeństwa i Nowych Technologii (CSET) na Uniwersytecie Georgetown, uważa, że pętla samodzielnej gry, którą zastosowało OpenAI, to dobre podejście. „Wyniki wyglądają bardzo obiecująco” – mówi.

OpenAI przetestowało, jak dobrym atakującym jest GPT-Red, powtarzając eksperyment z 2025 roku, w którym ludzcy red-teamerzy próbowali znaleźć słabości we wcześniejszej wersji GPT-5. Kiedy GPT-Red