Amazon Web Services wypuściło open-source'owy model decyzyjny zainspirowany Jevem od TypeSafe, bo nic nie mówi "innowacja" tak jak podejrzenie czyjejś pracy domowej i stwierdzenie, że zrobi się własną wersję. Strands Decider 2B, wydany w tym samym tygodniu, w którym OpenAI ogłosiło podejrzanie podobną ofertę, obiecuje być szybkim i tanim sposobem sortowania wcześniej ustalonych opcji - w zasadzie maszyną do wielokrotnego wyboru, która mówi, jak bardzo jest pewna swojej odpowiedzi. Jest w pełni open-source, dostępny od zaraz i wystarczająco mały, by działać lokalnie, co w żargonie technicznym oznacza "nie potrzebujesz centrum danych, żeby go używać".

Projekt zaczął się, gdy wybitny inżynier Amazona, Marc Brooker, zobaczył Jev i pomyślał: "Mógłbym to zbudować". Jak się okazało, mógł - domowa wersja na chwilę wskoczyła na szczyt rankingu Jevbench dla modeli tej wielkości, co jest jak zdobycie trofeum za udział, które faktycznie coś znaczy. Inżynierowie Amazona następnie go dopieścili i wydali przez Strands Labs, organizację firmy zajmującą się tworzeniem nowych narzędzi do wdrażania agentów AI.

Brooker twierdzi, że potrzeba wynikła z rozmów z klientami AWS, których agentowe przepływy pracy nie zawsze wymagały możliwości lub kosztu pełnoprawnego LLM-a. "To, co pierwotnie wzbudziło moje zainteresowanie tą klasą modeli, to fakt, że stanowią idealnego decydenta dla kroku w przepływie pracy - 'co mam teraz zrobić, biorąc pod uwagę, gdzie jestem?'" - powiedział TechCrunch. Dodał, że oferuje klientom krok przepływu pracy bardziej niezawodny dzięki ocenom pewności i zamkniętej domenie odpowiedzi, z niższym opóźnieniem i potencjalnie niższym kosztem. Innymi słowy: czasem potrzebujesz po prostu kierującego ruchem, a nie filozofa.

Jak inne modele decyzyjne, Strands Decider jest zbudowany na "torsie" LLM-a - konkretnie Qen3.5-2B - ale zamiast generować tekst, dostarcza skalibrowane wybory. TypeSafe nazwało swój model Jev po ekonomiście Williamie Stanleyu Jevonsie, przywołując jego teorię, że spadające koszty mogą zwiększać popyt. Bo nic nie mówi "rewolucja AI" tak jak nazwanie produktu po XIX-wiecznym ekonomiście.

Fakt, że od debiutu pomysłu TypeSafe pojawiły się dziesiątki podobnych modeli, świadczy o szerokim zainteresowaniu, ale też rodzi pytanie, jak wartościowe mogą być. Brooker sugeruje, że wyzwaniem jest optymalizacja szybkiego podejmowania decyzji bez kompromisu w inteligencji. "Trzeba znaleźć bardzo delikatną równowagę, w której chcesz poprawić wydajność pod względem dokładności i kalibracji w tego typu zadaniach, nie pogarszając wydajności w rozumieniu różnych języków, w posiadanej wiedzy, co czyni go uniwersalnym, interesującym i użytecznym" - powiedział. Więc celem jest stworzenie modelu, który jest jednocześnie szybki i mądry - kombinacja, która historycznie wymykała się zarówno AI, jak i ludziom.

Mimo to Brooker nie spodziewa się, by laboratoria frontier zdominowały tę przestrzeń, zwłaszcza że koszt zbudowania czegoś interesującego wynosi zaledwie setki lub tysiące dolarów. Ze swojej strony przedstawiciele TypeSafe mówią, że trzymają głowy nisko i ulepszają przyszłe modele. "Rozumiem, że ludzie myślą, że to gorączka złota, ale mogą nie doceniać trudności w uczynieniu modeli naprawdę mądrymi" - powiedział TechCrunch CEO i założyciel Diogo Almeida, dodając, że nie widzi jeszcze prawdziwej konkurencji. "Obecna partia wygląda bardziej jak ludzie od ML chcący zaimplementować fajną architekturę niż zespół głęboko zaangażowany w uczynienie inteligencji użyteczną". Co jest uprzejmym sposobem powiedzenia: ładna próba, ale zadzwońcie, gdy faktycznie coś zbudujecie.