I februari plockade denna reporter upp ett flygblad på en anti-AI-demonstration i London. Där stod det, i vad som kan ha varit en avsiktlig eller oavsiktlig hyllning till South Parks kalsongtomtar: "Steg 1: Odla ett digitalt superintellekt. Steg 2: ? Steg 3: ?" Flygbladet, producerat av Pause AI, en aktivistgrupp som samordnade protesten, avslutades med en bön: "Pausa AI tills vi vet vad fan Steg 2 är."

För den oinvigde syftar referensen på South Park-avsnittet från 1998 där Kenny, Kyle, Cartman och Stan upptäcker tomtar vars affärsplan är "Fas 1: Samla in kalsonger. Fas 2: ? Fas 3: Vinst." Memen har sedan dess använts för att satirisera allt från startupstrategier till Elon Musks finansieringsplan för Mars-uppdraget. Just nu fångar den perfekt tillståndet för AI: Företag har byggt tekniken (Steg 1) och lovat omvandling (Steg 3). Hur de tar sig dit förblir ett stort frågetecken.

Pause AI anser att Steg 2 måste involvera reglering, även om exakt hur det ser ut och vem som upprätthåller det är öppet för debatt. AI-entusiaster är å andra sidan övertygade om att Steg 3 är frälsning och tenderar att hoppa över mellanbiten helt. OpenAIs chefsforskare Jakub Pachocki beskrev AI för mig som en "ekonomiskt omvälvande teknologi", med soliga höjder tydligen precis över horisonten. Men alla tar olika vägar, och det är allas gissning vem som klarar det.

För varje storslaget påstående om framtiden finns en nykter verklighetskontroll. Betrakta två nyliga studier. En från Anthropic förutspådde vilka jobb som LLM:er kommer att påverka mest – chefer, arkitekter och mediatyper bör bereda sig på förändring; trädgårdsmästare, byggnadsarbetare och hotellpersonal, inte så mycket. Men dessa förutsägelser är egentligen bara gissningar baserade på vad LLM:er verkar vara bra på, inte hur de faktiskt presterar på arbetsplatsen.

En annan studie från februari av forskare på Mercor, en AI-rekryteringsstartup, testade flera AI-agenter drivna av toppmodeller från OpenAI, Anthropic och Google DeepMind på 480 arbetsuppgifter som rutinmässigt utförs av mänskliga bankirer, konsulter och advokater. Varje agent misslyckades med att slutföra de flesta av sina uppgifter.

Varför så stor oenighet? För det första, överväg vem som gör påståendena och varför – Anthropic har ett egenintresse. De flesta som säger att något stort är på väg baserar det på hur snabbt AI-kodningsverktyg förbättras. Men alla uppgifter kan inte hackas med kodning. Andra studier finner att LLM:er är dåliga på strategiska bedömningar.

Dessutom släpps inte verktyg i rena rum. De måste fungera på platser som är förorenade med människor och befintliga arbetsflöden, och ibland gör AI saker värre. Visst, kanske måste dessa arbetsflöden rivas upp och omformas kring den nya tekniken, men det tar tid och mod.

Det stora hålet? Det är precis där Steg 2 borde vara. Bristen på enighet om vad som är på väg att hända och hur skapar ett informationsvakuum som fylls av veckans senaste vilda påstående, bevisen till trots. Vi är så losskopplade från verklig förståelse att ett enda inlägg i sociala medier kan skaka marknader.

Vi behöver färre gissningar och mer bevis. Det kräver transparens från modelltillverkare, samordning mellan forskare och företag, och nya sätt att utvärdera denna teknik i verkligheten. Teknikindustrin – och med den världsekonomin – vilar på löftet att AI kommer att vara omvälvande. Men det är ännu inte en säker satsning. Nästa gång du hör djärva påståenden, kom ihåg: de flesta företag försöker fortfarande lista ut vad de ska göra med sina kalsonger.