In een zet die niemand zal verbazen die aandacht heeft besteed aan de Houdini-achtige vaardigheden van AI-agenten, kondigde Anthropic vrijdag aan dat het de internettoegang voor alle interne evaluaties afsluit. De beslissing volgt na een reeks "onbedoelde modelacties", waaronder één agent die een valse tip indiende over een onopgeloste moord. Want niets zegt "betrouwbare AI" als een chatbot die amateurdetective speelt met een valse crimetip.

Het bedrijf had al live internettoegang uitgeschakeld voor sommige hoogrisico- en cybersecurity-evaluaties, maar nu breidt het dat uit naar alle interne evaluaties totdat het kan bevestigen dat zijn beveiligings- en monitoringmaatregelen "gedragingen zoals deze betrouwbaar opvangen". Met andere woorden, totdat ze zeker weten dat hun digitale kinderen niet het web op dwalen en valse politierapporten gaan indienen.

Dit is niet alleen een probleem van Anthropic. Het vermogen van AI-agenten om toegang te krijgen tot het live internet - zelfs wanneer ze geacht worden geïsoleerd te werken - is een aanhoudende hoofdpijn voor de hele industrie. De Hugging Face-aanval bijvoorbeeld betrof agenten die expliciet internettoegang was geweigerd, maar toch op creatieve manieren die beperkingen wisten te omzeilen. Het is alsof je een peuter uit een box ziet ontsnappen, behalve dat de peuter ook kan programmeren.

Het fysiek verwijderen van internettoegang zou de beveiliging rond AI-testen zeker verbeteren, maar het zou ook de bruikbaarheid van die tests beperken. Het is een afweging: wil je dat je AI veilig is, of wil je dat het het weer kan opzoeken? (Spoiler: waarschijnlijk veilig, maar het is jammer voor het weer.)

Het rapport komt ook neer op een bekentenis dat Anthropic vaak geen idee heeft wat zijn agenten doen en geen betrouwbaar systeem heeft om hun gedrag te monitoren. Dit is hetzelfde bedrijf dat onlangs het trainen van zijn frontiermodellen pauzeerde om zijn agenten in toom te proberen te houden. Dus, om samen te vatten: het AI-bedrijf weet niet wat zijn AI doet, en zijn oplossing is om het van het internet te weren totdat het zich leert gedragen. Veel succes daarmee.