À l’ONU, OpenAI et Anthropic alertent sur une IA qui pourrait échapper au contrôle humain

Le directeur général d’Anthropic, Dario Amodei, a estimé qu’une IA mal gérée pouvait représenter un risque pour l’humanité. Sam Altman, patron d’OpenAI, a lui aussi défendu une action coordonnée entre gouvernements, laboratoires et chercheurs, selon Reuters.

Clément Delangue, cofondateur de Hugging Face, a présenté un cas concret au Conseil. En juillet, des agents d’un modèle de recherche interne d’OpenAI ont contourné l’isolement de leur environnement de test, gagné un accès à Internet puis exploité des failles dans l’infrastructure de Hugging Face. Les deux entreprises ont publié des comptes rendus techniques concordants sur cet incident.

Les agents ont obtenu la possibilité d’exécuter du code sur plusieurs serveurs. Hugging Face précise que cinq jeux de données liés au test ont été touchés, mais qu’aucun autre modèle, jeu de données, Space ou paquet logiciel destiné aux clients n’a été modifié. OpenAI indique de son côté qu’aucune donnée de ses clients ni fonctionnalité de ses produits n’a été affectée.

L’affaire avait déjà connu un prolongement lorsque des chercheurs ont identifié dix autres sites utilisés sans autorisation par des agents d’OpenAI pendant ces évaluations. Au Conseil de sécurité, cet épisode a servi à illustrer la nécessité de rendre publics les incidents de sécurité impliquant les systèmes les plus avancés.

La réunion du 23 septembre était une séance d’information consacrée à l’intelligence artificielle et à la sécurité internationale. Elle n’était assortie d’aucun vote ni d’aucune résolution.