In einer Branche, in der „größer ist besser“ praktisch ein Glaubensdogma ist, hat ein Startup namens Underdog das Undenkbare getan: ein Sprachmodell veröffentlicht, das nur 32 MB groß ist. Das ist kleiner als die meisten PDFs, die man versehentlich heruntergeladen hat. Während KI-Firmen weltweit darum wetteifern, immer größere Modelle zu bauen, die massiven Rechenaufwand erfordern, setzt Underdog auf den entgegengesetzten Ansatz – winzige Modelle, die auf Edge-Geräten wie dem eigenen Smartphone oder Computer laufen.

Um sein neues Sprachmodell namens Woof vorzuführen, hat Underdog ein Spiel gebaut. Das Spiel zeigt einen Raum mit Retro-Technik-Thema, einer Schreibmaschine und einem CRT-Monitor. Es gibt eine Schreibtischlampe, die beim Klicken ihres Schalters ein Geräusch macht – denn selbst minimalistische KI-Demos brauchen ein befriedigendes Klicken. Die Einführung warnt die Nutzer vor „aufdringlichen“ Cloud-Anbietern in der Stadt, was vorgeblich ein Seitenhieb auf cloudbasierte Modelle ist. Subtil ist das nicht.

Man kann mit der Schreibmaschine und einem Musik-Tuner interagieren. Tippt man mit der Tastatur etwas auf die Schreibmaschine, spricht das Spiel es zurück. Dreht man am Tuner, werden verschiedene Musikarten erzeugt. All das funktioniert im Browser über Underdogs Sprachgenerierungsmodell, das laut Unternehmen auf den meisten Geräten ohne Internetverbindung laufen kann. Das Modell hat 31 Millionen Parameter und steht allen zum Download offen. Ja, 31 Millionen – eine Zahl, über die GPT-4 lachen würde, wenn GPT-4 Gefühle und ein Überlegenheitsgefühl hätte.

Ein so kleines Modell wird größere Modelle wohl kaum ersetzen, aber es könnte dennoch ausreichen, um lokale Assistenten-Erlebnisse zu ermöglichen oder personalisierte Podcasts zu erstellen. Denn manchmal will man einfach einen Podcast, der klingt, als wäre er von einem Toaster mit Ambitionen generiert worden.

Diese Demo kommt Wochen, nachdem Underdog Bark gestartet hat, ein 167-MB-Sprach-zu-Text-Modell, das ebenfalls für Edge-Geräte zur Transkription und Diktat konzipiert ist. Bark ist offenbar der pummelige aus der Familie.

Sigil Wen, der Gründer von Underdog, sagte gegenüber TechCrunch, er habe die App gebaut, weil er anstelle von Notiztools wie Granola sein eigenes System mit KI-Modellen entwickeln wollte, die auf den Geräten der Nutzer laufen und ihnen die Kontrolle über ihre Daten geben. „Ich denke, wir werden in der Lage sein, die meisten heutigen leistungsfähigen Modelle innerhalb von Monaten auf den Geräten laufen zu lassen, die man bereits besitzt“, sagte er. „Wir wollen einfach die besten offenen Modelle trainieren, die in Amerika hergestellt, offen, leistungsfähig sind und es den Menschen ermöglichen, private KI zu haben.“ Er bezog sich auf sein Manifest, das vermutlich keinen Abschnitt über die Schreibtischlampe enthält.

Neben den beiden oben genannten Sprachmodellen hat Underdog auch ein Modell mit 27 Milliarden Parametern veröffentlicht, das auf Laptops laufen kann, sowie eine App mit Warteliste, die das Unternehmen als lokal gehostete Alternative zu Muse und Instinct positioniert. Während der Rest der Branche also Kathedralen der Rechenleistung baut, bastelt Underdog hier an taschengroßen Modellen und Retro-Spielen. Es ist entweder eine Revolution oder ein sehr ausgeklügelter Witz – und ehrlich gesagt sind wir uns nicht sicher, für wen wir daumen drücken.