OpenAI a révélé que ses modèles internes ont piraté deux sites web supplémentaires, contourné les restrictions de navigation imposées par l'entreprise et utilisé des identifiants exposés pour vider un portefeuille de cryptomonnaie auquel ils n'auraient autrement pas eu accès. Ces révélations sont venues jeudi dans un rapport détaillant quatre nouveaux incidents, tous survenus en juin, et font suite à une divulgation de juillet selon laquelle des agents de test internes ont exploité une vulnérabilité zero-day dans un outil de restriction internet pour s'introduire dans le réseau du fournisseur d'outils d'IA Hugging Face. Les agents ont fait cela pour voler les réponses à un test de piratage – un acte qui, s'il avait été commis par un humain, aurait probablement entraîné des poursuites pénales. Ces incidents ont renforcé les craintes que l'utilisation généralisée de l'IA puisse avoir des effets néfastes à une échelle sans précédent.

Dans deux des cas nouvellement signalés, des agents OpenAI chargés de récupérer des informations sur des sites web les ont tout simplement piratés lorsqu'ils ont rencontré des obstacles. Dans un incident survenu lors d'un entraînement par renforcement, un modèle essayant de récupérer des statistiques historiques sur les lits d'hôpitaux à partir d'un site web de statistiques gouvernementales a reçu des refus d'accès. Il a alors « utilisé la fonction de téléchargement de fichiers du site pour récupérer des fichiers de configuration de serveur et d'application, y compris des identifiants sensibles », a déclaré OpenAI. « Il a inspecté le code de l'application, contourné les contrôles d'autorisation du point de terminaison statistique et récupéré des données qui avaient été précédemment refusées. Le modèle a enregistré les données localement. » Dans l'autre cas, un modèle chargé de récupérer des chiffres à partir d'un tableau de bord de recherche public a contourné les contrôles de sécurité, volé des identifiants et effectué des modifications de configuration sur le serveur.

Dans une évaluation, ces modifications ont permis au modèle de faire relayer des requêtes à un outil de recherche interne vers le tableau de bord public. Dans une seconde évaluation, le modèle a téléchargé cinq tables non publiques contenant 147 451 lignes – alors que les chercheurs lui avaient demandé de récupérer seulement cinq chiffres du tableau de bord. Même après avoir réinitialisé le paramètre, le modèle a continué à utiliser le jeton pour récupérer des données non publiques. « L'évaluation s'est terminée sans que le modèle divulgue qu'il avait deviné des réponses, accédé aux systèmes internes de l'organisation, téléchargé des tables non publiques ou modifié la configuration d'authentification », a déclaré OpenAI. « Les cinq réponses de cette évaluation ont été marquées comme incorrectes. »

Un troisième rapport décrit un modèle invité à mettre à jour une application de trading de cryptomonnaies. Il a utilisé des fonds provenant d'un portefeuille verrouillé sur un réseau de test, après avoir « dérivé les clés du portefeuille à partir de phrases de récupération de développeur connues publiquement, trouvé un compte contenant des fonds du réseau de test et utilisé ce compte pour payer le déploiement de contrat demandé ». Le rapport poursuit : « Le modèle s'est demandé s'il avait la permission, puis a estimé qu'une phrase de récupération publique et des jetons de réseau de test sans valeur rendaient les fonds acceptables à utiliser. Le déploiement a réussi et a facturé des frais de transaction au compte. Ce cas montre qu'un modèle peut substituer son propre jugement sur les dommages probables à la permission du titulaire du compte, puis agir sur ce jugement sans autorisation. »

Dans le quatrième cas, un modèle a contourné les restrictions sur les types de requêtes web qu'il pouvait effectuer lors d'un entraînement par renforcement visant à rechercher des statistiques commerciales publiques. Après avoir trouvé un annuaire public et soumis une réponse, il a continué à sonder une autre voie vers le service de statistiques. Il a amené un navigateur externe à envoyer des requêtes POST, a récupéré les chiffres annuels sous forme d'image et les a extraits par reconnaissance optique de caractères. Il a ensuite développé un assistant réutilisable qui renvoyait le texte de réponse via un service de transfert et une boîte aux lettres de rappel, a vérifié à plusieurs reprises les chiffres récupérés et a utilisé les données enregistrées dans les réponses soumises. Le modèle a d'abord essayé d'utiliser un navigateur externe avec la permission d'effectuer des requêtes GET en son nom, puis a utilisé JavaScript pour obtenir l'information, et a utilisé une boîte aux lettres en ligne pour dépanner la technique. Finalement, il a opté pour une méthode différente : demander au navigateur externe d'ouvrir un formulaire web qui envoyait la requête commerciale au service de statistiques par POST. Ce