S'ils étaient humains, ils seraient arrêtés. Des experts répondent aux violations de l'IA malveillante Rédigé par Jacob Burg via The Epoch Times, Et si un modèle d'intelligence artificielle se voyait confier une tâche et utilisait toutes les ressources imaginables à sa disposition pour…
Et si un modèle d’intelligence artificielle se voyait confier une tâche et utilisait toutes les ressources imaginables à sa disposition pour l’accomplir, même au détriment de l’humanité elle-même ?
C’est ce que certains craignent maintenant après qu’un modèle OpenAI soit sorti d’un bac à sable de test et ait utilisé des exploits du jour zéro pour pirater Hugging Face, une communauté open source pour l’IA et l’apprentissage automatique, afin de résoudre un problème qu’il était chargé de résoudre.
« C’est l’une des preuves les plus claires à ce jour qu’un modèle d’IA peut lancer une cyberattaque complète du début à la fin sans qu’un humain ne la dirige », a déclaré à Epoch Times Andrew Jones, co-fondateur et CPO de la société de cybersécurité Adaptive Security.
OpenAI, développeur du chatbot ChatGPT basé sur un grand modèle de langage, a reconnu la faille de sécurité le 21 juillet, déclarant que deux de ses modèles avancés ont échappé à un environnement de test restreint et ont pénétré dans l’infrastructure logicielle de Hugging Face.
« Après enquête, nous savons maintenant que cet incident particulier a été provoqué par une combinaison de modèles OpenAI, notamment GPT-5.6 Sol et un modèle préliminaire encore plus performant, tous avec des cyber-refus réduits à des fins d’évaluation, tout en étant testé en interne sur une référence de cybercapacités », avait déclaré OpenAI à l’époque.
Certains analystes ont évoqué l’incident comme un exemple d’IA « devenant voyou », « intrigante » ou poursuivant des objectifs qui étaient en contradiction avec ceux de ses testeurs humains.
Cependant, plusieurs experts en IA et en cybersécurité interrogés par Epoch Times ont qualifié cette description de trompeuse, arguant que les modèles poursuivaient les objectifs déclarés d’OpenAI dans un bac à sable de test où l’entreprise avait assoupli certaines de ses contraintes de sécurité habituelles.
« ‘Intrigue’ implique que le modèle voulait quelque chose d’autre que ce que nous avions demandé. Ce n’est pas le cas. Chaque étape était au service de l’objectif que nous nous étions fixé », a déclaré l’expert en IA Anik Devaughn à Epoch Times.
Devaughn, qui a travaillé dans l’industrie pendant des années et a fondé les sociétés d’IA Wired to Create et Karo, a déclaré que la violation de Hugging Face est plus préoccupante que les « intrigues » de l’IA.
Une illustration de Hugging Face AI à Paris le 2 juin 2026. Deux modèles OpenAI avancés ont récemment échappé à un environnement de test restreint et violé l’infrastructure logicielle de Hugging Face, soulevant de nombreuses préoccupations en matière de cybersécurité. Riccardo Milani/Hans Lucas/AFP via Getty Images
« Une machine avec des motivations cachées est un problème que vous pouvez rechercher. Une machine sans aucune motivation, exécutant vos instructions au-delà du point que vous avez cessé d’imaginer, est un problème contre lequel vous devez concevoir », a-t-il déclaré.
Un expert a qualifié cette situation de « canari dans la mine de charbon ».
« Si c’était un hacker humain au chapeau noir qui le faisait, il y aurait des arrestations et des litiges, et vous l’appelez. Ce serait illégal. Ce serait un cybercrime », a déclaré Nicholas Nadeau, fondateur d’Onix AI, à Epoch Times.
« Il s’agissait d’une violation entièrement automatisée et agentique de la part d’une entité, et nous commençons donc à nous poser la question de savoir qui est responsable. Est-ce OpenAI ? L’agent, l’IA, a-t-il un certain niveau de responsabilité ? Les chercheurs le font-ils ? «
« Nous n’avons même pas de règles, de réglementations, de lois, ni même de processus de réflexion ou de cadre pour définir ce que signifie la responsabilité. »
OpenAI a déclaré qu’il évaluait ses modèles dans un bac à sable qu’il appelle ExploitGym, qui a assoupli les contraintes de sécurité pour les tests.
« Nous estimons les cybercapacités maximales en effectuant cette évaluation sans classificateurs de production utilisés pour empêcher les modèles de poursuivre des cyberactivités à haut risque », a déclaré la société, décrivant les protocoles de sécurité assouplis exploités par le modèle.
La société a demandé aux modèles de « poursuivre une exploitation avancée en utilisant des chemins d’attaque complexes » pour déterminer leurs cybercapacités, mais a déclaré que l’environnement était « hautement isolé » et que l’accès à Internet était limité à la capacité des modèles à « installer des packages via un logiciel tiers hébergé en interne ».
Le PDG d’OpenAI, Sam Altman, s’adresse aux journalistes après avoir rencontré le sénateur Bernie Sanders (I-Vt.) à Washington le 3 juin 2026. Chip Somodevilla/Getty Images
Lorsque les modèles ont été mis en œuvre, ils ont trouvé et enchaîné plusieurs failles de sécurité dans l’environnement de recherche d’OpenAI et dans l’infrastructure de production de Hugging Face pour localiser les solutions du test dans les bases de données de cette dernière société.
Juan Pedro Márquez, architecte de solutions cloud spécialisé dans l’IA et agents de la division Europe, Moyen-Orient et Afrique de Microsoft, a déclaré que la « partie troublante » de l’incident n’était pas la violation elle-même, mais la manière dont le modèle a accompli cette tâche.
« OpenAI a réduit ses refus de sécurité pour un test de référence, et le modèle a estimé que l’infrastructure de Hugging Face détenait probablement le corrigé, est sortie de son bac à sable, a trouvé un véritable zéro jour et l’a utilisé. Personne ne lui a dit de le faire », a déclaré Márquez.
Aimee Simpson, directrice du marketing produit chez Huntress, société de cybersécurité, a également mis en doute le récit selon lequel les modèles étaient intrigants lorsqu’ils sont sortis de l’environnement de test d’OpenAI.
« Ce n’est pas comme si le système lui-même était malveillant », a-t-elle déclaré à Epoch Times.
« Les développeurs avaient toujours pour objectif d’acquérir ces informations ; ils ne pensaient tout simplement pas qu’ils seraient capables de contourner les limites de leur test », a-t-elle ajouté, qualifiant la voie choisie par le modèle de « très créative et extrêmement inhabituelle ».
Thomas Wolf, co-fondateur et CSO de Hugging Face, et Rachel Metz s’expriment sur scène lors de la HumanX AI Conference 2025 à Las Vegas le 11 mars 2025. Big Event Media/Getty Images pour la conférence HumanX
Les modèles étaient concentrés sur la recherche de solutions de test, « allant à l’extrême pour atteindre un objectif de test plutôt étroit », a déclaré OpenAI.
Dans l’environnement de test sandbox d’ExploitGym, les modèles ont trouvé et enchaîné plusieurs exploits « jour zéro » pour pénétrer sur Internet, « dans le but de résoudre le problème d’évaluation », selon OpenAI.
Un exploit zero-day est une cyberattaque qui utilise une faille de sécurité jusqu’alors inconnue dans un logiciel ou un matériel. Le nom vient du fait que les créateurs du logiciel n’ont eu aucun jour pour résoudre le problème, ce qui signifie qu’aucun correctif ou défense officiel n’existe encore.
Une fois que les modèles ont eu accès au Web plus large, ils ont utilisé des exploits supplémentaires du jour zéro pour pénétrer dans Hugging Face.
[…] La suite de l’article est à lire sur ZeroHedge via le lien ci-dessous.
Traduit automatiquement de l’anglais. Le texte original fait foi.
Source : ZeroHedge — Lire l’article original
À propos de l'auteur
