In een ontwikkeling die absoluut niemand met ook maar een oppervlakkige bekendheid met biologie of hypecycli zal verbazen, heeft een investeringsonderzoeksbureau geleerd dat een niet-uitgebrachte versie van Anthropics Claude niet in staat is om een werkend schorpioenantigif uit het niets te toveren. Citrini Research, het bureau achter het experiment, bundelde de krachten met Anthropic om te testen of AI de geneesmiddelenontwikkeling kon revolutioneren. Dat kon het niet. Het leverde enkele veelbelovende aanknopingspunten op en precies nul echte geneesmiddelen, aldus experts tegen The Verge.

Citrini ging, naar eigen zeggen, met in wezen geen relevante expertise van start en gaf toe dat "niemand van ons kon beweren iets te weten over AI in relatie tot biologie." Onverstoord zette het bureau door en publiceerde uiteindelijk een blogpost getiteld "We wilden Claude gebruiken om een nieuw geneesmiddel te creëren. Dit is wat er gebeurde." Het verslag bevatte retorische vragen als "Waarom proberen we niet AI te gebruiken om een nieuw geneesmiddel te creëren?", een gedetailleerd verslag van zijn amateuristische wetenschappelijke avonturen, en een citaat van Charles Darwin - want niets zegt rigoureus farmaceutisch onderzoek als een 19e-eeuwse natuuronderzoeker die even langskomt voor gravitas.

Als Citrini bekend in de oren klinkt, komt dat omdat het bureau eerder een fictief stuk circuleerde waarin een door AI veroorzaakte economische catastrofe werd verbeeld, dat viraal ging op sociale media en de echte markten opschudde. Het beweert ook in april de Straat van Hormuz te hebben bezocht om een firsthand perspectief te krijgen op de volatiele regio. Voor zijn nieuwste onderneming schakelde Citrini Anthropic in, dat - slechts weken verwijderd van zijn felbegeerde beursgang - verschillende redenen heeft om de potentie van AI in geneesmiddelenontwikkeling en de levenswetenschappen op te hemelen, twee gebieden die het actief nastreeft.

De samenwerking begon nadat Citrini struikelde over Claude's biosecurity-guardrails bij een poging het model onderzoek te laten doen naar geneesmiddelkandidaten. De auteur van de post zei dat ze "mijn hele contactenlijst heb gespamd met iedereen die bij een AI-lab werkte", en uiteindelijk een gewillige partner vonden in Anthropic. Het AI-lab stemde ermee in de beperkingen op te heffen en toegang te verlenen tot een geavanceerder, niet-uitgebracht model, op voorwaarde dat het team vanuit zijn kantoren zou werken. Handig stemde Anthropic er ook mee in de rekening voor compute en tokens te betalen, die net geen $50.000 bedroeg.

Na een paar opties te hebben afgewogen, koos het team voor schorpioenantigif, een kostbare behandeling die moeilijk te produceren is en vaak het injecteren van gif in paarden vereist. Het doel was Claude te gebruiken om eiwitten te ontwerpen die aan de toxines in schorpioengif konden binden. Gewapend met een prompt van 35 pagina's zetten ze de AI aan het werk en ontketenden zo'n 300 subagenten om naar geschikte eiwitten te zoeken.

In zijn eigen, nuchterder verslag zei Anthropic dat Claude bijna 320.000 kandidaten genereerde, die werden teruggebracht tot 180 ontwerpen nadat degenen die op bekende toxines of bestaande eiwitten leken, waren weggegooid. Het hele proces duurde 64 uur. Anthropic zei dat het team "met Claude" werkte om nog eens 31 ontwerpen toe te voegen, waarmee het totaal op 211 kwam.

Citrini stuurde de ontwerpen vervolgens naar twee externe laboratoria - het Zwitserse biotechbedrijf Adaptyv Bio en het in de VS gevestigde Twist Biosciences - om te testen of de eiwitten daadwerkelijk aan hun beoogde doelwitten konden binden, een cruciale stap naar een effectief antigif. Dat kostte nog eens $150.000, min of meer. Het is onduidelijk waarom Anthropic deze tests niet in-house had kunnen uitvoeren in zijn biologie-wetlab in Californië. Zeventien eiwitten doorstonden de test en bonden gezamenlijk aan vier van de vijf schorpioentoxines die het team hoopte te targeten. Geen van de eiwitten bond aan meer dan één toxine, zei Citrini.

Zelfs als ze dat wel hadden gekund, zou Citrini nog steeds heel ver verwijderd zijn van een werkend antigif. Binding aan een toxine betekent niet dat een eiwit het kan neutraliseren, laat staan dat het als een veilige en effectieve behandeling kan dienen. Citrini erkent dat ook, en merkt op dat "geen enkel experiment nog heeft getest of ze de toxine daadwerkelijk stopten met werken."

Met andere woorden, het experiment was geen succes. Citrini zette koers om een nieuw geneesmiddel te maken en, volgens experts die met The Verge spraken, slaagde erin...