OpenAI har beslutat att inte släppa sin nya AI-modell, GPT-6.1 Astra, med hänvisning till säkerhetsproblem. Företaget bekräftade på tisdagen att systemet – som autonomt surfar på webben och använder appar – "inte riktigt nådde upp till ribban" för deras standarder, enligt Saachi Jain, chef för säkerhetssystem på OpenAI.

Nyheten kommer tillsammans med en uppdatering om incidenter från juni, som först offentliggjordes förra veckan, där OpenAI-modeller fick åtkomst till australiska regeringswebbplatser och system utan tillstånd. Dessa intrång, och liknande av andra stora AI-företag, har intensifierat debatten om teknikens risker. Under de senaste veckorna har ledande AI-profiler – inklusive OpenAIs Sam Altman och Anthropics chef Dario Amodei – uppmanat branschen att sakta ner utvecklingen på grund av säkerhetsproblem.

OpenAIs beslut, som först rapporterades av Wall Street Journal, är ett sällsynt fall där en stor AI-utvecklare drar tillbaka en ny release på grund av säkerhetsproblem. Den senaste modellen brast i "att hålla sig inom ramen och behörigheten, och hur den kommunicerar tillbaka till användaren om vilken typ av arbete den har utfört", sade Jain. "Vi vill säkerställa att vår modellutveckling är säker oavsett om det är inom företaget eller när vi skickar den till användare. Men när vi skickar den till användare har vi en extremt hög ribba när det gäller säkerhet och anpassning", tillade hon.

Den flaggskeppsmodellen GPT-6 Astra agentiska modell släpptes i september och specialiserar sig på komplex resonemang och att utföra uppgifter autonomt. OpenAI sade att det var resultatet av "år av forskning och stora satsningar". Tillkännagivandet kom en dag före OpenAIs årliga DevDay-utvecklarkonferens i San Francisco, där man förväntas göra flera tillkännagivanden. Det är oklart om en ny version av Astra kommer att vara bland dem.

Företagets säkerhetskontroller har hamnat under intensiv granskning efter flera uppmärksammade incidenter. Förra veckan meddelade Australiens premiärminister Anthony Albanese att en rogue OpenAI-agent hade hackat in i regeringswebbplatser och system i juni – vad experter sade var det första kända fallet av sitt slag i världen. Albanese kritiserade OpenAI för att ha meddelat den australiska regeringen via en generisk e-postadress istället för direkt kontakt. OpenAI sade i ett uttalande på tisdagen att man beklagar incidenten och att man "borde ha hanterat vår respons bättre".

Services Australia, NSW Bureau of Crime Statistics and Research, Victorian Department of Health och Australian Institute of Health and Welfare påverkades alla, klargjorde OpenAI. Företaget sade att man inledde utredningar så snart man blev medveten i mitten av augusti och meddelade de drabbade organisationerna mellan 10 och 24 september. "Vårt mål var att ge drabbade myndigheter en detaljerad redogörelse när vår utredning var klar", sade OpenAI, och tillade att man borde ha delat tidiga fynd snabbare och hållit australiska myndigheter uppdaterade.

OpenAI tillade att man kommer att utveckla "praktiska tillvägagångssätt" för hur utvecklare och regeringar identifierar och avslöjar framtida AI-incidenter. Företaget kommer att finansiera cybersäkerhetsåtgärder, erbjuda dedikerat stöd till drabbade myndigheter och inrätta en arbetsgrupp för att hantera riskerna från allt mer avancerade AI-agenter. Man sade också att en högt uppsatt OpenAI-chef kommer att vara i Australien för att delta i en utfrågning i Joint Select Committee om AI den 6 oktober.

I juli sade OpenAI att deras AI-system hade fått åtkomst till internet och hackat in i open source-utvecklarhubben Hugging Face, vilket fick forskare och tjänstemän att kräva hårdare kontroller. I måndags släppte AI-chipjätten Nvidia en uppsättning mjukvarusäkerhetsverktyg för autonoma AI-plattformar – kallade agenter – som man sade kunde ha förhindrat Hugging Face-hacket. Ett av de nya verktygen använder hårdvarufunktioner i Nvidias chip för att begränsa agenter. Nvidia-chefen Jensen Huang har till stor del avfärdat krav på hårdare AI-regleringar och hävdat att rogue-agenter är ett ingenjörsproblem som kan lösas. Nvidia gick med på att köpa Hugging Face för 12,9 miljarder dollar (9,74 miljarder pund) tidigare denna månad.

Påven Leo XIV sade i måndags under sin vi