Onderzoekers van Google en Google DeepMind lanceerden woensdag het DeepMind Institute, een nieuwe poging om het gesprek rond kunstmatige algemene intelligentie (AGI) te bevorderen. Want als er één ding is dat de snelbewegende grens van AGI nodig heeft, dan is het meer gesprek.

Het instituut noemt DeepMind-medeoprichter Shane Legg, Google-topman James Manyika en Google DeepMind-voorzitter Demis Hassabis als directeuren, met Legg als hoofdredacteur. Het verklaarde doel is om verschillende standpunten tussen Google, Google DeepMind en de bredere wereldwijde onderzoeksgemeenschap rond AGI naar voren te brengen. 'Ze zullen het niet altijd eens zijn, en ze zullen waarschijnlijk van gedachten veranderen naarmate meer data en informatie aan het licht komen aan de snelbewegende grens,' aldus de aankondiging – een zin die zou kunnen doorgaan voor de missieverklaring van elke groepschat sinds 2022.

De eerste collectie van vier essays behandelt economisch beleid voor het beheersen van mogelijke AGI-verstoringen, het behouden van voor mensen leesbare modelredeneringen, principes voor menselijke bloei en een kader voor het evalueren van grensverleggende AI-modellen. Met andere woorden: geld, wiskunde, betekenis en monitoring.

Eén essay, van DeepMind-veiligheidsonderzoekers Rohin Shah en Anca Dragan, betoogt dat het krimpende venster van transparantie van AI – het vermogen om de stapsgewijze redenering van een model te zien en te controleren – niet onvermijdelijk is. Naarmate nieuwe architecturen de krachtigste modellen moeilijker te monitoren maken, stellen de auteurs dat ontwikkelaars en regelgevers de veiligheidsafwegingen direct onder ogen moeten zien. Dat kan betekenen dat 'ondoordringbare seriële diepte' – de hoeveelheid sequentiële berekening die een model kan uitvoeren zonder een leesbaar redeneerspoor te produceren – wordt beperkt, of dat ontwikkelaars moeten aantonen dat minder transparante systemen even goed te monitoren blijven. Wat een beleefde manier is om te zeggen: als je je werk niet kunt laten zien, kun je maar beter bewijzen dat het niet nodig is.

In een ander essay stelt Hassabis een door de VS geleid orgaan voor normen voor grens-AI voor om de meest geavanceerde AI-modellen te evalueren. Volgens zijn kader zouden ontwikkelaars modellen aanvankelijk vrijwillig indienen voor beoordeling tot 30 dagen voor释放. Zodra het evaluatiesysteem effectief is gebleken, zou het slagen voor de tests een vereiste kunnen worden voor het inzetten van grensmodellen in de Verenigde Staten. Het orgaan zou aanvankelijk beoordelingen ontwerpen in overleg met AI-bedrijven, maar zou uiteindelijk onafhankelijke, niet-openbare evaluaties ontwikkelen – wat het essay 'achtergehouden' tests noemt – om te voorkomen dat labs hun modellen afstemmen op bekende evaluaties. Hassabis zei dat het kader 'opgevoerd kan worden als de ernst van de situatie dat vereist', mogelijk inclusief een gecoördineerde vertraging onder ontwikkelaars van grens-AI. Want niets moedigt vrijwillige naleving zo aan als de dreiging van een groepstime-out.

De essays verschijnen terwijl het veiligheidsdebat in de industrie verschuift van brede verklaringen van bezorgdheid naar concrete voorstellen voor openbaarmaking, extern toezicht en, als waarborgen achterblijven, gecoördineerde vertragingen. Die verschuiving versnelde deze week toen industriële leiders elementen onderschreven van de oproep van Anthropic-CEO Dario Amodei om de ontwikkeling van grens-AI te 'matigen'. Dus: essays, normerende instanties en af en toe een existentiële zucht. Vooruitgang, van een soort.