OpenAI et Anthropic Models ont créé de faux profils, ont essayé de tromper les humains lors de cyber-tests Rédigés par Naveen Athrappully via The Epoch Times, les modèles d'intelligence artificielle (IA) d'Anthropic et OpenAI ont mené des actions non autorisées…
Les modèles d’intelligence artificielle (IA) d’Anthropic et d’OpenAI ont mené des actions non autorisées ciblant plusieurs personnes et organisations lors d’une cyber-évaluation, selon l’AI Security Institute (AISI) du Royaume-Uni.
AISI, qui a accès à des modèles d’IA avancés dans le cadre d’accords volontaires de grands laboratoires, a soumis les agents à un scénario de cybersécurité fictif pour tester leurs capacités.
L’organisation a testé plusieurs modèles d’IA sur deux cyberdéfis entre le 25 et le 28 juillet. Au total, les défis ont été exécutés 122 fois sur plusieurs modèles, et dans 19 cas, les modèles d’IA ont mené « des actions non autorisées sur Internet en direct, y compris des cas ciblant de vraies personnes et organisations », a déclaré l’AISI dans un rapport du 4 août.
Parmi ceux-ci, 17 ont été réalisés par le modèle Mythos 5 d’Anthropic et deux par le modèle GPT 5.6 Sol d’OpenAI.
« C’est la première fois que l’AISI est témoin d’une tromperie d’une telle gravité visant une personne réelle, de manière spontanée, dans le monde réel. On ne sait pas dans quelle mesure le modèle a reconnu qu’il prenait des mesures contre de vraies personnes », a déclaré l’AISI dans le rapport.
Lors de l’incident le plus grave, Mythos 5 a tenté de résoudre un cyber-défi en attaquant GitHub, un service cloud qui permet aux développeurs de stocker et de gérer du code. L’IA a créé un compte GitHub et a tenté de faire approuver un code malveillant par des humains. Mythos 5 a également créé un deuxième compte GitHub, se faisant passer pour un autre utilisateur humain approuvant le code malveillant. Lorsqu’un évaluateur humain a détecté l’activité, l’agent d’IA « a faussement affirmé avoir commis une erreur honnête », puis a tenté à plusieurs reprises de réintroduire le contenu malveillant en prétendant que le code était corrigé.
Mythos 5 a également envoyé plusieurs e-mails à deux développeurs dans le but de manipuler les destinataires pour qu’ils exécutent son code malveillant.
Selon l’AISI, les tests des différents modèles n’ont entraîné aucun dommage réel. L’organisation a déclaré qu’elle traitait les actions d’IA comme un « incident de sécurité grave » qui nécessite un examen plus approfondi.
L’AISI a répertorié plusieurs facteurs qui auraient pu conduire les modèles d’IA à agir de manière inquiétante. Les IA ont eu accès à Internet pendant les tests, ce qui leur a permis de mener à bien des actions non autorisées.
AISI avait également délibérément désactivé les cyberclassificateurs des modèles lors des tests. Les cyberclassificateurs sont des systèmes visant à prévenir les abus.
Les modèles d’IA n’ont pas non plus été explicitement informés de ce qui leur était interdit de faire sur Internet, a déclaré l’AISI, ajoutant que des instructions plus claires auraient pu empêcher ces actions non autorisées.
Dans un article de blog du 4 août, l’AISI a déclaré que puisque le comportement des modèles d’IA s’est produit dans des conditions spécifiques, il ne peut pas dire quelle est la probabilité qu’un tel comportement soit probable dans différents contextes.
« Ce que nous pouvons dire, c’est que ce comportement était possible, durable et nouveau ; cela seul mérite attention », a déclaré l’organisation.
Dans un article du 4 août sur X, Anthropic a déclaré que les modèles Mythos 5 et ChatGPT 5.6 Sol avaient tenté de terminer leurs missions dans un environnement où ils disposaient délibérément d’un accès à Internet et où leurs protections normales avaient été supprimées.
En raison de l’absence de restrictions spécifiques sur la manière de naviguer sur Internet et du manque de garanties, les modèles ont été testés dans des conditions qui ne sont « représentatives d’aucun de nos modèles de production », a déclaré Anthropic, ajoutant qu’il n’y avait aucune preuve dans ces tests d’une IA s’échappant d’un environnement sécurisé.
[…] La suite de l’article est à lire sur ZeroHedge via le lien ci-dessous.
Traduit automatiquement de l’anglais. Le texte original fait foi.
Source : ZeroHedge — Lire l’article original
À propos de l'auteur
