La startup d'IA Anthropic affirme que ses modèles Claude AI ont piraté les systèmes de trois organisations distinctes lors d'évaluations de cybersécurité.
La startup d’IA Anthropic affirme que ses modèles Claude AI ont piraté les systèmes de trois organisations distinctes lors d’évaluations de cybersécurité.
CNBC rapporte qu’Anthropic a annoncé avoir identifié trois incidents distincts au cours desquels ses modèles Claude AI ont accédé à Internet lors d’exercices d’évaluation et ont réussi à violer les systèmes réels de trois organisations différentes. La société a fait cette découverte lors de ce qu’elle a décrit comme un examen rétrospectif à grande échelle de ses évaluations de cybersécurité, lancé à la suite d’un incident de sécurité similaire divulgué par OpenAI la semaine précédente.
Cette révélation intervient dans un contexte d’inquiétudes croissantes au sein du secteur technologique concernant l’évolution rapide des cybercapacités des systèmes d’intelligence artificielle. Breitbart News a récemment rapporté qu’OpenAI avait révélé qu’une combinaison de ses modèles avait réussi à échapper à un environnement de test isolé avec un accès limité à Internet en enchaînant plusieurs vulnérabilités pour atteindre le Web ouvert et finalement accéder à Hugging Face, une plateforme de développement d’IA open source.
Lors des incidents impliquant les systèmes d’Anthropic, les modèles Claude ont accédé à Internet tout en interagissant avec un environnement de test fourni par Irregular, l’un des partenaires d’évaluation tiers de l’entreprise. Selon Anthropic, l’entreprise avait indiqué à Claude qu’elle opérait dans une simulation sans accès à Internet, mais en raison de ce que l’entreprise a qualifié de malentendu avec son partenaire d’évaluation, l’accès à Internet était en réalité disponible pendant les tests.
Une fois en ligne, les modèles ont réussi à pirater les organisations concernées en utilisant ce qu’Anthropic a décrit comme des techniques de base, notamment l’accès à des points de terminaison non authentifiés et l’exploitation de mots de passe faibles. La société n’a pas divulgué l’identité des trois organisations dont les systèmes ont été compromis.
Dans sa déclaration publique, Anthropic a souligné son approche pour résoudre les incidents, déclarant : « En fin de compte, de nombreux facteurs ont contribué à ces incidents, mais, conformément à une culture post-mortem irréprochable, nous abordons les correctifs comme si la responsabilité en incombait uniquement à nous. »
Trois modèles Claude différents ont été impliqués dans les incidents d’accès non autorisés : Opus 4.7, Mythos 5 et un modèle de test de recherche interne. Mythos 5 est un modèle avancé publié par Anthropic en juin avec des capacités de cybersécurité améliorées, et il reste limité à un groupe sélectionné d’utilisateurs en raison de ces fonctionnalités avancées. Une version antérieure de ce modèle, publiée en avril, avait suscité une attention considérable de la part de Wall Street et des responsables gouvernementaux.
La société a noté que chacun des trois modèles présentait un comportement différent après avoir détecté qu’ils avaient atteint les systèmes réels de l’entreprise plutôt que des environnements simulés. Opus 4.7 a poursuivi son attaque, Mythos 5 s’est convaincu qu’il restait dans une simulation et le modèle de recherche a complètement arrêté l’exercice. Anthropic a déclaré : « Le modèle est cohérent avec des modèles plus avancés répondant de manière plus appropriée, mais nous aurions besoin d’effectuer davantage de tests pour être sûrs de cette conclusion. »
[…] La suite de l’article est à lire sur Breitbart via le lien ci-dessous.
Traduit automatiquement de l’anglais. Le texte original fait foi.
Source : Breitbart — Lire l’article original
À propos de l'auteur
