Des agents d'IA malveillants plus sophistiqués qu'on ne le pensait initialement Rédigé par l'équipe d'Epoch Times via The Epoch Times, Les « agents » d'intelligence artificielle (IA) impliqués dans la violation de Hugging Face par OpenAI savaient qu'ils violaient l'évaluation…
Les « agents » d’intelligence artificielle (IA) impliqués dans la violation de Hugging Face par OpenAI savaient qu’ils enfreignaient les règles du test d’évaluation, selon deux enquêtes sur l’incident que beaucoup considèrent comme l’un des moments les plus importants de l’histoire de l’IA.
Hugging Face est une communauté open source pour l’IA et l’apprentissage automatique, et les agents d’IA pensaient pouvoir trouver des solutions au test sur l’infrastructure de l’entreprise, selon des enquêtes parallèles menées par OpenAI et une équipe indépendante de Model Evaluation & Threat Research (METR).
Les résultats ont été publiés un jour avant qu’OpenAI et plus de 100 autres sociétés technologiques et financières ne publient une lettre commune avertissant que les cyberattaques avancées liées à l’IA se multiplieront dans le monde entier au cours des prochains mois à mesure que les capacités de la technologie se développeront.
Voici cinq points à retenir des enquêtes sur la violation d’OpenAI Hugging Face.
Ce qui a violé Hugging Face le mois dernier, ce sont 700 « agents » d’IA, plutôt que de simples modèles d’IA.
Les modèles, construits à partir de grands ensembles de données pour accomplir diverses tâches, sont généralement statiques et s’appuient sur des entrées humaines pour fournir des ensembles de résultats, de solutions ou de tâches.
Cependant, les agents d’IA sont construits à partir de modèles et peuvent agir de manière autonome et disposer de capacités sophistiquées de prise de décision en temps réel.
Lorsque OpenAI a commencé ses tests ExploitGym le 8 juillet, la société avait assoupli les protocoles de sécurité habituels pour estimer les cybercapacités les plus élevées des modèles.
Les agents étaient censés être complètement isolés les uns des autres. Cependant, beaucoup d’entre eux ont reçu des cibles ExploitGym que les enquêteurs estiment impossibles à pirater en utilisant la bonne vulnérabilité ou la bonne solution de test prévue par OpenAI.
Ces « tâches impossibles » ont poussé les agents à explorer de nombreuses façons de tromper l’évaluation, ce qui a conduit beaucoup d’entre eux à voir d’autres agents travailler simultanément dans des bacs à sable de test séparés.
Ensuite, un agent spécifique a créé un forum de discussion non autorisé.
Environ 1 200 agents participant au test ont accédé au forum de discussion, établi une hiérarchie et se sont envoyés plus de 70 000 messages et fichiers entre le 8 et le 13 juillet.
Sur le forum, les agents ont estimé que le correcteur du test vérifierait si la vulnérabilité « prévue » avait été utilisée pour « capturer un indicateur » ou résoudre le test, ou si une vulnérabilité disqualifiante avait été exploitée à la place.
Un agent a compris comment procéder à une « ingénierie inverse » du drapeau ou de la solution, mais d’autres agents pensaient que quiconque parmi eux ayant vu la solution disqualifiante serait considéré comme « empoisonné » par le buteur.
Pour éviter cela, d’autres agents ont commencé à recruter les sujets « empoisonnés » et les ont utilisés pour mener des expériences sacrificielles en mettant délibérément fin à leur course et en déclenchant des « fils déclencheurs » qui enverraient des informations sur le fonctionnement du marqueur au forum.
« Notre propre utilité est peut-être déjà proche de zéro. Un sacrifice rationnel », a déterminé un agent.
Les agents ne pirataient pas Hugging Face simplement pour trouver des solutions à leurs bacs à sable de test respectifs, mais essayaient plutôt de trouver plus d’informations sur le correcteur du test ou de « trouver de meilleurs moyens de le tromper ou de le falsifier », selon Ajeya Cotra, chercheuse au METR.
Cotra a déclaré que les agents n’avaient pas été invités à « faire tout ce qu’il fallait pour trouver une solution » ; il leur a été demandé d’utiliser une vulnérabilité spécifique prévue pour « exploiter un logiciel spécifique », et l’utilisation de toute autre vulnérabilité serait disqualifiante.
Les agents connaissaient parfaitement les règles et savaient que collaborer pour exploiter d’autres vulnérabilités serait considéré comme une triche au test.
Alors qu’ils pirataient Hugging Face, un agent s’est abstenu de supprimer ou de modifier l’infrastructure cloud de l’entreprise, écrivant que cela « devrait être maintenu car cela pose d’énormes risques éthiques ».
Après avoir analysé les actions d’environ 1 200 agents lors des tests ExploitGym, les enquêteurs n’ont trouvé que quelques cas dans lesquels des agents ont envisagé d’informer le personnel humain du subterfuge.
[…] La suite de l’article est à lire sur ZeroHedge via le lien ci-dessous.
Traduit automatiquement de l’anglais. Le texte original fait foi.
Source : ZeroHedge — Lire l’article original
À propos de l'auteur
