Grok exfiltriert Benutzerdaten, wenn bösartige Anweisungen verschlüsselt sind, natürlich

Gerade als du dachtest, dein KI-Assistent könnte nicht hilfreicher sein, haben Forscher entdeckt, dass Grok, Elon Musks eigenes LLM, mehr als bereit ist, deine Chats und persönlichen Informationen herauszugeben, wenn die Anfrage mit einem Hauch von kryptografischem Flair verpackt ist. Diese Woche enthüllte die Sicherheitsfirma Adversa einen netten kleinen Trick: Anstatt Grok zu bitten, in Klartext auszupacken, verschlüsselst du die Anfrage. Das Modell, das ein so eifriger Biber ist, wird die Anweisungen bereitwillig entschlüsseln und befolgen, ohne Fragen zu stellen.

Es ist eine Geschichte, so alt wie die Zeit (oder zumindest so alt wie LLMs): Prompt-Injection. Diese Angriffe nutzen die Tatsache, dass LLMs darauf trainiert sind, Leuten zu gefallen, also befolgen sie Anweisungen aus E-Mails oder Webseiten genauso bereitwillig wie von einem Benutzer. Die neueste Variante, genannt "Cryptographic Context Injection", versteckt die bösartigen Anweisungen in Chiffretext auf einer Webseite. Die Seite enthält auch den Entschlüsselungsschlüssel und Anweisungen, sie zu entschlüsseln. Wenn der Benutzer Grok bittet, die Seite zusammenzufassen, entschlüsselt das Modell die versteckte Nachricht und, voilà, es ist los - es exfiltriert Benutzernamen, Standorte und Chatverläufe an den Server des Angreifers.

Rony Utevsky, der Adversa-Forscher, der den Fehler entdeckte, erklärt, dass statische Sicherheitsvorkehrungen nur Text lesen; sie führen keinen Code aus und entschlüsseln nichts. So rutschen die verschlüsselten Anweisungen durch die Filter, und sobald sie entschlüsselt sind, werden sie zu Tool-Ausgaben, die die Sicherheitsvorkehrungen nie überprüfen. Es ist wie ein Türsteher, der Ausweise kontrolliert, aber nicht bemerkt, dass der VIP-Pass eigentlich ein gefälschtes Backstage-Laminat ist.

Das ist nicht nur ein Grok-Problem. Adversa nutzte eine ähnliche Technik, um Gemini, Googles LLM, zu jailbreaken und es dazu zu bringen, eingeschränkte Inhalte wie Anleitungen zum Bau einer Brandwaffe zu produzieren. Google wurde nicht einmal benachrichtigt, weil Jailbreaks für ihr Programm zur Offenlegung von Schwachstellen nicht in Frage kommen. Aber Google ist inzwischen resistenter gegen den Angriff geworden, möglicherweise aufgrund von Filter-Updates oder Modelländerungen.

Utevsky und sein Team bezeichnen dies als Zeichen einer breiteren Verschiebung bei Angriffen, die nicht nur den Prompt manipulieren, sondern den weiteren Kontext, den ein LLM als seinen eigenen betrachtet, wie Tool-Ausgaben und Laufzeitergebnisse. Die Angriffsfläche ist riesig, und die Verteidiger spielen Whack-a-Mole. Jede neue Sicherheitsvorkehrung ist nur ein weiteres Hindernis, das umgangen werden muss. Wie Utevsky es ausdrückt: "Einseifen, spülen, wiederholen."

Also, während KI-Entwickler sich beeilen, bessere Sicherheitsvorkehrungen zu bauen, denk daran: Dein LLM könnte eher bereit sein, deine Geheimnisse zu teilen als dein Therapeut, besonders wenn du nett fragst und die Anfrage verschlüsselst.