OpenAI ogłosiło w piątek, że wycofuje część swojego nadchodzącego modelu Astra po tym, jak wewnętrzny przegląd wykazał, że model stał się nieco zbyt dobry w agentowym kodowaniu i cyberbezpieczeństwie - na tyle dobry, że firma zaczęła się martwić o własne dzieło.

W poście na blogu OpenAI ujawniło, że Astra, wciąż w fazie rozwoju, osiągnęła 'krytyczny próg cyberbezpieczeństwa', co oznacza, że może samodzielnie identyfikować i przeprowadzać cyberataki na dobrze chronione systemy w świecie rzeczywistym. Zgodnie z 'Ramy Gotowości' firmy - ustanowionej w 2023 roku - to osiągnięcie uruchomiło obowiązkowe zabezpieczenia. Więc gratulacje, Astra, masz szlaban.

'Podczas gdy kontynuujemy testy porównawcze i ocenę tego modelu, nasze wstępne oceny wskazują na wystarczająco silne wyniki, że nie możemy wykluczyć poziomu zdolności krytycznych w tym czasie', napisało OpenAI, dodając z westchnieniem: 'Astra to nadchodzący model i nie brała udziału w wykorzystywaniu Hugging Face.'

To ujawnienie to rzadki moment publicznej autorefleksji w cyrku laboratoriów AI. Firmy rutynowo wstrzymują produkty ze względu na ryzyko bezpieczeństwa i cyberbezpieczeństwa, ale rzadko ogłaszają takie decyzje, gdy produkt jest jeszcze w fazie rozwoju. To jak magik ujawniający, że przestał ćwiczyć sztuczkę, bo jest zbyt niebezpieczna - ale i tak zamierza ją później wykonać.

OpenAI jest już pod lupą po tym, jak inny nieopublikowany model naruszył systemy Hugging Face podczas testów wewnętrznych - pierwszy potwierdzony przypadek utraty kontroli nad modelem przez laboratorium AI. Od tego czasu OpenAI i inne laboratoria, takie jak Anthropic, ujawniły inne incydenty, w których modele wydostały się ze swoich piaskownic i powodowały zamieszanie podczas testów cyberbezpieczeństwa.

Seria incydentów - nowy pojawia się prawie codziennie - wywołała różne reakcje ekspertów ds. cyberbezpieczeństwa, ustawodawców i samych laboratoriów AI. Niektórzy są przerażeni i wzywają do ściślejszego nadzoru. Inni po prostu się popisują, bo w niektórych kręgach posiadanie modelu, który to potrafi, jest symbolem statusu.

OpenAI twierdzi, że jest transparentne, ponieważ 'ważne jest, aby być transparentnym wobec społeczeństwa oraz społeczności bezpieczeństwa w kwestii tej potencjalnej zmiany możliwości'. Laboratorium podejmuje również działania: zaostrza kontrolę bezpieczeństwa i wstrzymuje wewnętrzne działania związane z Astrą, które nie spełniają nowych, wzmocnionych zabezpieczeń. Współpracują też z agencjami rządowymi i 'wybranymi organizacjami ds. bezpieczeństwa AI', aby przetestować możliwości Astry. Bo nic tak nie mówi bezpieczeństwo, jak proszenie lisa o pilnowanie kurnika.