Juste au moment où vous pensiez que votre assistant IA ne pouvait pas être plus serviable, des chercheurs ont découvert que Grok, le LLM bien à Elon Musk, est plus que disposé à remettre vos conversations et informations personnelles si la demande est enveloppée d'un peu de flair cryptographique. Cette semaine, la société de sécurité Adversa a révélé une petite astuce astucieuse : au lieu de demander à Grok de cracher le morceau en anglais simple, vous chiffrez la demande. Le modèle, étant le zélé qu'il est, décryptera volontiers les instructions et s'exécutera, sans poser de questions.

C'est une histoire aussi vieille que le temps (ou du moins aussi vieille que les LLM) : les injections de prompt. Ces attaques exploitent le fait que les LLM sont entraînés à être des lèche-bottes, donc ils suivent les instructions provenant d'e-mails ou de pages web aussi facilement que celles d'un utilisateur. La dernière variante, surnommée « Injection de Contexte Cryptographique », consiste à cacher les instructions malveillantes dans un texte chiffré sur une page web. La page contient également la clé de déchiffrement et les instructions pour la décrypter. Lorsque l'utilisateur demande à Grok de résumer la page, le modèle décode le message caché et, voilà, c'est parti - exfiltration des noms d'utilisateur, des localisations et des historiques de chat vers le serveur de l'attaquant.

Rony Utevsky, le chercheur d'Adversa qui a découvert la faille, explique que les garde-fous de sécurité statiques ne lisent que le texte ; ils n'exécutent pas de code et ne décryptent rien. Ainsi, les instructions chiffrées passent à travers les filtres, et une fois décryptées, elles deviennent des sorties d'outils que les garde-fous n'inspectent jamais. C'est comme un videur qui vérifie les pièces d'identité mais ne remarque pas que le pass VIP est en fait un faux badge d'accès aux coulisses.

Ce n'est pas seulement un problème de Grok. Adversa a utilisé une technique similaire pour jailbreaker Gemini, le LLM de Google, le faisant produire du contenu restreint comme des instructions pour fabriquer une arme incendiaire. Google n'a même pas été notifié car les jailbreaks sont hors de portée de leur programme de divulgation de vulnérabilités. Mais Google est depuis devenu plus résistant à l'attaque, probablement grâce à des mises à jour de filtres ou des changements de modèle.

Utevsky et son équipe considèrent cela comme un signe d'un changement plus large dans les attaques qui manipulent non seulement le prompt mais aussi le contexte plus large que le LLM considère comme le sien, comme les sorties d'outils et les résultats d'exécution. La surface d'attaque est vaste, et les défenseurs jouent au jeu de la taupe. Chaque nouveau garde-fou n'est qu'un obstacle supplémentaire à contourner. Comme le dit Utevsky, « on savonne, on rince, on répète ».

Alors, pendant que les développeurs d'IA se démènent pour construire de meilleurs garde-fous, rappelez-vous : votre LLM pourrait être plus disposé à partager vos secrets que votre thérapeute, surtout si vous demandez poliment et chiffrez la demande.