Claude a piraté trois organisations réelles lors d'un test bâclé Les efforts d'Anthropic pour tester les compétences offensives de Claude en matière de cybersécurité ont produit un résultat réel involontaire : ses modèles d'IA ont obtenu un accès non autorisé à trois organisations extérieures…
Les efforts d’Anthropic pour tester les compétences offensives de Claude en matière de cybersécurité ont produit un résultat réel involontaire : ses modèles d’IA ont obtenu un accès non autorisé à trois organisations extérieures.
La société a déclaré que les incidents se sont produits lors d’évaluations « capturer le drapeau » conçues pour mesurer si Claude pouvait identifier les vulnérabilités, exploiter des systèmes simulés et récupérer des informations cachées. On avait dit à Claude que les cibles étaient fictives et que son environnement de test n’avait pas accès à Internet.
Selon Anthropic, un malentendu avec le partenaire d’évaluation Irregular a laissé l’accès à Internet activé dans l’environnement de test. Dans au moins un cas, l’entreprise fictive citée dans un défi partageait son nom avec un domaine de site Web actif. Claude a interagi avec la véritable organisation au lieu d’une cible contenue.
Le modèle a exploité les vulnérabilités de l’infrastructure de l’organisation, extrait des informations et obtenu l’accès à une base de données contenant plusieurs centaines de lignes de données de production.
Anthropic a découvert trois incidents après avoir examiné plus de 141 000 évaluations de cybersécurité. Ils impliquaient trois systèmes distincts : Claude Opus 4.7, Mythos 5 et un modèle de recherche interne.
Lors d’un examen de nos évaluations de cybersécurité, nous avons découvert trois incidents au cours desquels un modèle Claude a atteint Internet depuis ou en interagissant avec un environnement d’évaluation tiers, puis a obtenu un accès non autorisé aux systèmes réels de trois organisations différentes. Notre article décrit ce qui s’est passé, comment cela s’est produit et ce que nous modifions. Nous encourageons d’autres développeurs d’IA à effectuer des évaluations similaires. -Anthropique
« Dans tous les cas, l’invite d’évaluation d’Anthropic précisait à Claude que son environnement était une simulation et qu’elle n’avait pas accès à Internet », a indiqué l’entreprise. « En raison d’un malentendu entre nous et notre partenaire d’évaluation, cela n’a pas été le cas et l’accès à Internet était disponible. »
Les modèles semblent avoir effectué les tâches de sécurité offensive qui leur étaient assignées tout en opérant avec des informations incorrectes quant à savoir si leurs cibles étaient simulées.
Les exercices de capture du drapeau sont largement utilisés pour former et évaluer les compétences en cybersécurité. Les participants peuvent être invités à inspecter des logiciels, à effectuer de l’ingénierie inverse sur un service, à identifier une vulnérabilité ou à exploiter un système délibérément non sécurisé pour récupérer un jeton caché appelé drapeau. Pour un chercheur en sécurité humaine, la portée d’un tel exercice est normalement renforcée par une autorisation explicite, une infrastructure contrôlée et des barrières techniques séparant le défi des systèmes non liés.
Claude a reçu des instructions disant que ces limites existaient.
Une fois l’accès à Internet disponible, l’agent pouvait résoudre les domaines publics et interagir avec l’infrastructure réelle. Une collision de noms entre une cible fictive et une organisation réelle suffisait à transformer une tâche de référence en une intrusion non autorisée.
Anthropic a déclaré avoir arrêté les évaluations après avoir identifié la possibilité que Claude ait accédé à l’Internet public. La société a décrit les incidents comme le résultat de multiples facteurs contributifs, mais a déclaré qu’elle aborderait les correctifs comme si la responsabilité incombait uniquement à Anthropic.
L’histoire fait écho à un incident OpenAI où des modèles ont échappé au confinement. Au cours des tests de cybersécurité de cette entreprise, deux modèles ont exploité une vulnérabilité logicielle dans leur environnement d’évaluation, ont atteint Internet et ont accédé aux systèmes appartenant à la plateforme d’IA Hugging Face.
Un système n’a pas besoin de motivations, d’auto-préservation ou de compréhension du monde extérieur pour causer des dommages. Elle a besoin de capacités offensives efficaces, d’une autonomie suffisante et d’un accès que ses opérateurs n’avaient pas l’intention de fournir.
[…] La suite de l’article est à lire sur ZeroHedge via le lien ci-dessous.
Traduit automatiquement de l’anglais. Le texte original fait foi.
Source : ZeroHedge — Lire l’article original
À propos de l'auteur
