Amazon Web Services har släppt en öppen källkods-beslutsmodell inspirerad av TypeSafe's Jev, för inget säger innovation riktigt som att titta på någon annans läxa och bestämma sig för att göra sin egen version av den. Strands Decider 2B, som släpptes samma vecka som OpenAI annonserade ett misstänkt liknande erbjudande, lovar att vara ett snabbt och billigt sätt att sortera mellan förutbestämda alternativ – i princip en flervalsmaskin som berättar hur säker den är på sitt svar. Den är helt öppen källkod, tillgänglig nu, och tillräckligt liten för att köras lokalt, vilket på tech-språk betyder "du behöver inte ett datacenter för att använda den".

Projektet började när Amazons distinguished engineer Marc Brooker såg Jev och tänkte: "Det där kan jag bygga." Det visade sig att han kunde – hembryggda versionen nådde tillfälligt topplaceringen på Jevbench-rankingen för modeller i sin storlek, vilket är som att vinna en tröstpris som faktiskt betyder något. Amazons ingenjörer städade sedan upp den och släppte den via Strands Labs, företagets organisation för att utveckla nya verktyg för AI-agentdistribution.

Brooker säger att behovet uppstod ur samtal med AWS-kunder vars agentiska arbetsflöden inte alltid krävde kapaciteten eller kostnaden för en fullfjädrad LLM. "Det som ursprungligen väckte mitt intresse för den här klassen av modeller var att de utgör en perfekt beslutsfattare för ett arbetsflödessteg – 'vad är nästa sak för mig att göra här, baserat på var jag är?'" sade han till TechCrunch. Han tillade att det erbjuder kunderna ett arbetsflödessteg som är mer tillförlitligt tack vare konfidenspoäng och en sluten domän av svar, med lägre latens och potentiellt lägre kostnad. Med andra ord: ibland behöver man bara en trafikpolis, inte en filosof.

Liksom andra beslutsmodeller är Strands Decider byggd på en LLM:s "torso" – närmare bestämt Qen3.5-2B – men istället för att generera text levererar den kalibrerade val. TypeSafe döpte sin modell till Jev efter ekonomen William Stanley Jevons, med hänvisning till hans teori att sjunkande kostnader kan öka efterfrågan. För inget säger "AI-revolution" som att döpa sin produkt efter en 1800-talsekonom.

Det faktum att dussintals liknande modeller har dykt upp sedan TypeSafe debuterade sin idé visar på ett brett intresse, men väcker också frågan om hur värdefulla de kan vara. Brooker menar att utmaningen är att optimera snabbt beslutsfattande utan att kompromissa med intelligensen. "Det finns en mycket känslig balans att hitta där man vill pressa prestandan på noggrannhet och kalibrering för den här typen av uppgifter, utan att försämra prestandan när det gäller att förstå olika språk, att ha den typ av kunskap den har, vilket är vad som gör den allmän och intressant och användbar", sade han. Så målet är att göra en modell som är både snabb och smart – en kombination som historiskt sett har undgått både AI och människor.

Ändå förväntar sig Brooker inte att frontlinjelaboratorier ska dominera området, särskilt inte eftersom kostnaden för att bygga något intressant bara ligger på hundratals eller tusentals dollar. TypeSafe-chefer säger för sin del att de håller huvudet nere och förbättrar framtida modeller. "Jag förstår att folk tror att det är en guldrush, men de underskattar kanske svårigheten att göra modellerna faktiskt smarta", sade VD och grundare Diogo Almeida till TechCrunch, och tillade att han ännu inte såg någon verklig konkurrens uppstå. "Den nuvarande omgången verkar mer som ML-folk som vill implementera en cool arkitektur än ett team som är djupt dedikerat till att göra intelligens användbar." Vilket är ett artigt sätt att säga: trevligt försök, men ring oss när du faktiskt har byggt något.