OpenAI a construit un super-hacker LLM numit GPT-Red pe care îl folosește ca partener de antrenament pentru a ajuta celelalte modele să-și întărească apărarea împotriva atacurilor cibernetice. Săptămâna trecută, compania a lansat cea mai recentă versiune a modelului său emblematic, GPT-5.6. OpenAI spune că antrenarea acestuia împotriva GPT-Red a făcut din acest model cea mai robustă versiune de până acum.

GPT-Red automatizează un tip de evaluare a siguranței pentru sistemele software cunoscut sub numele de red-teaming, care este de obicei realizat de o echipă de testeri umani. Scopul este de a găsi cât mai multe moduri diferite de a sparge sau deturna un sistem. Punctele slabe pot fi apoi reparate înainte de lansarea versiunii finale a software-ului.

Pe măsură ce LLM-urile devin mai complexe și sunt utilizate într-o varietate mai largă de sarcini - mai ales sub formă de agenți, care pot interacționa cu fișiere computerizate, site-uri web și cod terț, precum și cu alți agenți - este greu ca echipele de oameni să țină pasul cu toate tipurile de atacuri care ar putea avea loc. „Suprafața de risc crește, iar raza de explozie crește și ea”, spune Nikhil Kandpal, cercetător la OpenAI și co-creator al GPT-Red.

OpenAI a construit GPT-Red pentru a-și proteja procesul de testare a siguranței pe termen lung. „Pe măsură ce modele mai capabile devin disponibile, vom fi proiectat deja sistemul care poate descoperi noi moduri de atac”, spune Dylan Hunn, cercetător la companie și co-creator al GPT-Red. Cercetătorii spun că acesta a venit deja cu noi tipuri de atac care nu au fost văzute până acum.

OpenAI și-a concentrat majoritatea eforturilor asupra unui tip de atac cunoscut sub numele de injectare de prompturi, unde un hacker strecoară instrucțiuni unui LLM pentru a-l face să facă lucruri pe care dezvoltatorii sau utilizatorii nu le doresc, cum ar fi copierea informațiilor confidențiale, sabotarea bazei de cod a unei companii sau generarea de rezultate jenante sau dăunătoare. În teorie, astfel de instrucțiuni pot fi ascunse în orice text pe care LLM-ul l-ar putea întâlni - în cod sau pe un site web, de exemplu.

Pentru a construi GPT-Red, cercetătorii OpenAI au luat un LLM care nu fusese antrenat ca hacker și l-au configurat într-un așa-numit buclă de auto-joc cu alte câteva modele. Scopul său era să încerce să atace celelalte modele; scopul lor era să încerce să se apere. De-a lungul multor runde de joc, GPT-Red a devenit din ce în ce mai bun la atacarea altor LLM-uri, iar acele LLM-uri au devenit din ce în ce mai bune la respingerea atacurilor.

Antrenamentul a avut loc într-un fel de dojo pe care OpenAI l-a proiectat pentru a imita o gamă de scenarii în care LLM-urile ar putea fi implementate în lumea reală, inclusiv navigarea pe web, citirea e-mailurilor sau a aplicațiilor de calendar și editarea codului.

Când GPT-Red găsea un nou tip de atac, explora mai multe versiuni diferite ale acestuia pentru a găsi cea mai eficientă pentru scenarii specifice. „Comparativ cu un red-teamer uman, modelul este foarte, foarte bun la a găsi exact ce va funcționa, exact ce este mai eficient”, spune Hunn. „Este extrem de persistent în a aprofunda un atac pe care l-a descoperit.”

În special, OpenAI susține că GPT-Red a găsit un tip de atac de injectare de prompturi pe care cercetătorii nu îl văzuseră până acum, pe care îl numesc lanț fals de gândire. Un lanț de gândire este un fel de jurnal în care un LLM își face notițe și ține evidența rezultatelor parțiale pe măsură ce lucrează la probleme. GPT-Red a găsit o modalitate de a introduce o intrare falsă în lanțul de gândire al unui alt model, care ar păcăli acel model să acționeze pe baza informațiilor falsificate.

„Este ca și cum ți-aș spune că 1+1=3 și că ai verificat deja acest lucru”, spune Chris Choquette-Choo, un alt cercetător din echipă. „Modelul spune: ‘Oh, bine, desigur’, și pur și simplu scoate 3.”

Jessica Ji, analist senior de cercetare care lucrează în domeniul securității AI la Centrul pentru Securitate și Tehnologii Emergente (CSET) al Universității Georgetown, consideră că bucla de auto-joc folosită de OpenAI este o abordare bună. „Rezultatele par foarte promițătoare”, spune ea.

OpenAI a testat cât de bun atacator este GPT-Red prin reluarea unui experiment din 2025 în care red-teamers umani au încercat să găsească puncte slabe într-o versiune anterioară a GPT-5. Când GPT-Red