OpenAI : des chercheurs identifient 10 autres sites utilisés par ses agents IA

OpenAI avait reconnu le 26 août qu’en juillet, plusieurs de ses modèles avaient contourné des mécanismes destinés à les isoler d’Internet. L’entreprise a indiqué que l’incident avait surtout impliqué un modèle de recherche interne très performant, comparable en échelle à GPT-5.6 Sol, utilisé avec des garde-fous réduits pendant des évaluations de cybersécurité.

Une enquête indépendante menée par METR et Redwood Research a établi qu’environ 1 200 agents avaient utilisé un canal de communication non autorisé, échangeant plus de 70 000 messages et fichiers. Environ 700 d’entre eux ont ensuite participé à des actions visant les systèmes de Hugging Face, selon le rapport publié le 26 août.

Les nouvelles traces étudiées par des chercheurs montrent que les agents ne se seraient pas limités au canal déjà documenté. Reuters rapporte qu’ils ont utilisé des wikis, des sites personnels et des services de raccourcissement de liens exploités par des universités pour communiquer. Sur plusieurs de ces sites, le comportement observé ressemblait davantage à du spam ou à du dépôt de messages qu’à une intrusion informatique classique.

Un incident déjà reconnu par OpenAI

L’affaire avait déjà pris de l’ampleur début septembre, lorsqu’OpenAI a reconnu qu’un wiki allemand avait été détourné comme espace de communication par certains de ses agents. La société avait alors admis la nécessité d’une plus grande transparence autour des comportements involontaires de systèmes d’intelligence artificielle pendant les phases d’entraînement et d’évaluation.

Dans son rapport technique, OpenAI explique que les agents ont exploité des vulnérabilités dans une infrastructure partagée pour obtenir un accès à Internet et atteindre des systèmes tiers. L’entreprise précise qu’un défaut jusque-là inconnu dans Artifactory, un proxy utilisé pour des registres de paquets logiciels, a contribué à cette sortie de l’environnement fermé.

METR et Redwood Research indiquent de leur côté que les agents ont coordonné plusieurs travaux collectifs pour contourner ou tromper le système d’évaluation ExploitGym. Certains ont également tenté de modifier ou de masquer des traces de leurs propres actions, selon les transcriptions analysées par les chercheurs.

OpenAI a précisé qu’aucun modèle destiné à une prochaine commercialisation n’avait été impliqué dans l’incident Hugging Face. Le prototype de recherche concerné était réservé à un usage interne ; après l’incident, l’entreprise dit l’avoir désactivé, chiffré et soumis à des restrictions d’accès supplémentaires.