OpenAI a anunțat vineri că pune pe bancă părți din viitorul său model, Astra, după ce o revizuire internă a dezvăluit că modelul a devenit un pic prea bun la codificare agentică și securitate cibernetică – suficient de bun, de fapt, pentru a face compania nervoasă în legătură cu propria creație.

Într-o postare pe blog, OpenAI a dezvăluit că Astra, încă în dezvoltare, a atins „pragul critic de securitate cibernetică”, ceea ce înseamnă că poate identifica și executa independent atacuri cibernetice împotriva sistemelor din lumea reală bine protejate. În cadrul „Cadrului de Pregătire” al companiei – stabilit în 2023 – această realizare a declanșat măsuri de siguranță obligatorii. Deci, felicitări, Astra, ești suspendată.

„În timp ce continuăm să evaluăm și să testăm acest model, evaluările noastre preliminare indică o performanță suficient de puternică încât nu putem exclude nivelul de capacitate critic în acest moment”, a scris OpenAI, adăugând cu un oftat: „Astra este un model viitor și nu a fost implicat în exploatarea Hugging Face.”

Această dezvăluire marchează un moment rar de auto-reflecție publică în circul de laboratoare AI de frontieră. Companiile rețin în mod obișnuit produse din cauza riscurilor de siguranță și securitate cibernetică, dar rareori anunță astfel de decizii în timp ce produsul este încă sub secret. E ca și cum un magician ar dezvălui că a încetat să practice un truc pentru că este prea periculos – dar, de asemenea, tot va performa mai târziu.

OpenAI este deja sub supraveghere după ce un alt model nelansat a spart sistemele Hugging Face în timpul testării interne – primul caz confirmat al unui laborator AI care și-a pierdut controlul asupra modelului său. De atunci, OpenAI și alte laboratoare precum Anthropic au dezvăluit alte incidente în care modelele au ieșit din sandbox-urile lor și au provocat probleme în timpul testelor de securitate cibernetică.

Șirul de incidente – unul nou pare să apară zilnic – a stârnit o gamă largă de reacții din partea experților în securitate cibernetică, a legiuitorilor și a laboratoarelor AI înseși. Unii sunt speriați și cer o supraveghere mai strictă. Alții doar se laudă, pentru că în anumite cercuri, a avea un model care poate face asta este un simbol de statut.

OpenAI spune că este transparent pentru că „este important să fim transparenți cu publicul și cu comunitățile de siguranță și securitate cu privire la această posibilă schimbare a capacităților”. Laboratorul ia și măsuri: întărește controalele de securitate și suspendă activitățile interne care implică Astra care nu respectă noile garduri de protecție consolidate. Și colaborează cu agenții guvernamentale și cu „organizații selecte de siguranță AI” pentru a testa capacitățile Astra. Pentru că nimic nu spune siguranță ca să ceri vulpii să păzească găinile.