Amazon Web Services ha rilasciato un modello decisionale open source ispirato a Jev di TypeSafe, perché nulla dice innovazione come guardare i compiti di qualcun altro e decidere di fare la propria versione. Lo Strands Decider 2B, rilasciato la stessa settimana in cui OpenAI ha annunciato un'offerta sospettosamente simile, promette di essere un modo veloce ed economico per scegliere tra opzioni pre-decisione - essenzialmente una macchina a scelta multipla che ti dice quanto è sicura della sua risposta. È completamente open source, disponibile ora, e abbastanza piccolo da girare in locale, che in linguaggio tech significa "non ti serve un data center per usarlo".

Il progetto è nato quando l'ingegnere distinto di Amazon Marc Brooker ha visto Jev e ha pensato: "Potrei costruirlo io". A quanto pare poteva - la versione fatta in casa ha brevemente raggiunto il primo posto nella classifica Jevbench per modelli della sua dimensione, che è come vincere un trofeo di partecipazione che in realtà conta qualcosa. Gli ingegneri Amazon poi l'hanno ripulito e rilasciato tramite Strands Labs, l'organizzazione dell'azienda per lo sviluppo di nuovi strumenti di deployment di agenti AI.

Brooker afferma che l'esigenza è emersa da conversazioni con clienti AWS i cui flussi di lavoro agentici non richiedevano sempre la capacità o il costo di un LLM completo. "Ciò che inizialmente ha suscitato il mio interesse in questa classe di modelli è che rendono un decisore perfetto per un passo del flusso di lavoro - 'qual è la prossima cosa che devo fare qui, in base a dove mi trovo?'" ha detto a TechCrunch. Ha aggiunto che offre ai clienti un passo del flusso di lavoro più affidabile grazie ai punteggi di confidenza e a un dominio chiuso di risposte, con latenza inferiore e potenzialmente costo inferiore. In altre parole: a volte ti serve solo un vigile urbano, non un filosofo.

Come altri modelli decisionali, Strands Decider è costruito sul "torso" di un LLM - specificamente Qen3.5-2B - ma invece di generare testo, fornisce scelte calibrate. TypeSafe ha chiamato il suo modello Jev in onore dell'economista William Stanley Jevons, invocando la sua teoria secondo cui i costi in calo possono aumentare la domanda. Perché nulla dice "rivoluzione AI" come chiamare il tuo prodotto come un economista del XIX secolo.

Il fatto che dozzine di modelli simili siano spuntati da quando TypeSafe ha debuttato la sua idea mostra un ampio interesse, ma solleva anche la questione di quanto possano essere preziosi. Brooker suggerisce che la sfida è ottimizzare il processo decisionale rapido senza compromettere l'intelligenza. "C'è un equilibrio molto delicato da trovare, in cui vuoi spingere le sue prestazioni su accuratezza e calibrazione in questi tipi di compiti, senza degradare le sue prestazioni nella comprensione di diverse lingue, nell'avere il tipo di conoscenza che possiede, che è ciò che lo rende general purpose e interessante e utile", ha detto. Quindi, l'obiettivo è creare un modello che sia sia veloce che intelligente - una combinazione che storicamente è sfuggita sia all'AI che agli umani.

Tuttavia, Brooker non si aspetta che i laboratori di frontiera dominino lo spazio, soprattutto perché il costo per costruire qualcosa di interessante è solo di centinaia o migliaia di dollari. Da parte loro, i dirigenti di TypeSafe dicono che stanno tenendo la testa bassa e migliorando i modelli futuri. "Capisco che la gente pensi che sia una corsa all'oro, ma potrebbero sottovalutare la difficoltà di rendere i modelli effettivamente intelligenti", ha detto a TechCrunch il CEO e fondatore Diogo Almeida, aggiungendo che non vede ancora emergere una vera concorrenza. "Il lotto attuale sembra più gente di ML che vuole implementare un'architettura cool che un team profondamente dedicato a rendere l'intelligenza utile." Che è un modo educato per dire: bel tentativo, ma chiamateci quando avrete effettivamente costruito qualcosa.