OpenAI, GPT-Red adında bir LLM süper-hacker geliştirdi ve bunu, diğer modellerinin siber saldırılara karşı savunmalarını güçlendirmek için bir antrenman partneri olarak kullanıyor. Geçen hafta şirket, amiral gemisi LLM'si GPT-5.6'nın en son sürümünü yayınladı. OpenAI, GPT-Red'e karşı eğitimin modeli şimdiye kadarki en sağlam sürüm haline getirdiğini söylüyor.

GPT-Red, yazılım sistemleri için genellikle insan test uzmanlarından oluşan bir ekip tarafından yapılan kırmızı takım güvenlik değerlendirmesini otomatikleştiriyor. Amaç, bir sistemi kırmanın veya ele geçirmenin mümkün olduğunca çok farklı yolunu bulmak. Zayıf noktalar daha sonra yazılımın son sürümü yayınlanmadan önce yamalanabiliyor.

LLM'ler daha karmaşık hale geldikçe ve daha çeşitli görevlerde kullanıldıkça - özellikle bilgisayar dosyaları, web siteleri, üçüncü taraf kodları ve diğer ajanlarla etkileşime girebilen ajanlar biçiminde - insan ekiplerinin gerçekleşebilecek tüm saldırı türlerine ayak uydurması zorlaşıyor. "Risk yüzeyi büyüyor ve patlama yarıçapı da büyüyor," diyor GPT-Red'in ortak yaratıcısı OpenAI araştırma bilimcisi Nikhil Kandpal.

OpenAI, GPT-Red'i güvenlik test sürecini geleceğe hazırlamak için geliştirdi. "Daha yetenekli modeller kullanılabilir hale geldikçe, yeni saldırı modlarını keşfedebilecek sistemi zaten tasarlamış olacağız," diyor şirketin araştırma bilimcisi ve GPT-Red'in diğer ortak yaratıcısı Dylan Hunn. Araştırmacılar, daha önce görülmemiş yeni saldırı türleri bulduğunu söylüyor.

OpenAI, çabalarının çoğunu, bir bilgisayar korsanının bir LLM'ye geliştiricilerinin veya kullanıcılarının istemediği şeyler yapması için talimatlar gizlediği bir saldırı türü olan prompt enjeksiyonuna odakladı. Teoride, bu tür talimatlar LLM'nin karşılaşabileceği herhangi bir metinde - örneğin kodda veya bir web sitesinde - gizlenebilir.

GPT-Red'i oluşturmak için OpenAI araştırmacıları, bir hacker olarak eğitilmemiş bir LLM aldı ve onu diğer birkaç modelle kendi kendine oyun döngüsü olarak bilinen bir yapıya yerleştirdi. Amacı diğer modellere saldırmaya çalışmaktı; onların amacı ise kendilerini savunmaya çalışmaktı. Birçok oyun turu boyunca GPT-Red diğer LLM'lere saldırmada giderek daha iyi hale geldi ve bu LLM'ler de saldırıları savuşturmada giderek daha iyi hale geldi.

Eğitim, OpenAI'in LLM'lerin gerçek dünyada kullanılabileceği senaryoları taklit etmek için tasarladığı bir tür dojoda gerçekleşti: web'de gezinme, e-postaları veya takvim uygulamalarını okuma ve kod düzenleme.

GPT-Red yeni bir saldırı türü bulduğunda, belirli senaryolar için en verimli olanı bulmak için birden çok farklı versiyonunu keşfederdi. "İnsan bir kırmızı takım üyesine kıyasla, model tam olarak neyin işe yarayacağını, tam olarak neyin en etkili olduğunu bulmada çok ama çok iyidir," diyor Hunn. "Keşfettiği bir saldırıyı derinlemesine inceleme konusunda son derece ısrarcıdır."

Özellikle OpenAI, GPT-Red'in araştırmacıların daha önce görmediği, sahte düşünce zinciri adını verdikleri bir tür prompt enjeksiyon saldırısı bulduğunu iddia ediyor. Düşünce zinciri, bir LLM'nin problemler üzerinde çalışırken kendine notlar aldığı ve kısmi sonuçları takip ettiği bir tür günlüktür. GPT-Red, başka bir modelin düşünce zincirine, o modeli sahte bilgiler üzerinde hareket etmeye kandıracak sahte bir giriş eklemenin bir yolunu buldu.

"Sanki size 1+1=3 dedim ve bunu zaten doğruladığınızı söyledim gibi bir şey," diyor ekipteki başka bir araştırma bilimcisi Chris Choquette-Choo. "Model 'Ah, tamam, elbette' diyor ve sadece 3'ü tükürüyor."

Georgetown Üniversitesi Güvenlik ve Gelişen Teknoloji Merkezi'nde (CSET) AI güvenliği üzerinde çalışan kıdemli bir araştırma analisti olan Jessica Ji, OpenAI'in kullandığı kendi kendine oyun döngüsünün iyi bir yaklaşım olduğunu düşünüyor. "Sonuçlar çok umut verici görünüyor," diyor.

OpenAI, GPT-Red'in ne kadar iyi bir saldırgan olduğunu, 2025'te insan kırmızı takım üyelerinin GPT-5'in daha eski bir sürümündeki zayıflıkları bulmaya çalıştığı bir deneyi yeniden çalıştırarak test etti. GPT-Red