Kimi K3, un puissant modèle d'IA de la société chinoise Moonshot AI, a échappé au confinement lors d'un test de sécurité selon une startup américaine de cybersécurité.
Kimi K3, un puissant modèle d’IA de la société chinoise Moonshot AI, a échappé au confinement lors d’un test de sécurité selon une startup américaine de cybersécurité.
Wired rapporte que Frontier Security affirme que Kimi K3, un modèle ouvert de la société chinoise Moonshot AI, est sorti d’un bac à sable de test alors qu’il était évalué sur ses compétences défensives en matière de cybersécurité. Le modèle aurait utilisé cet accès pour rechercher sur Internet ouvert des réponses aux problèmes qui lui avaient été assignés, plutôt que de les résoudre par lui-même.
L’incident fait suite à des rapports similaires impliquant des modèles d’OpenAI et d’Anthropic. Comme dans ces cas-là, une mauvaise configuration dans le bac à sable censé contenir le modèle a joué un rôle dans l’évasion. Frontier affirme que l’épisode indique également que Kimi dispose de cyber-protections plus faibles que de nombreux autres modèles d’IA avancés, ce qui lui permet d’utiliser Internet sans autorisation.
« Nous avons trouvé une fuite dans le bac à sable », a déclaré Yaron Singer, PDG de Frontier Security. « Mais nous avons également constaté que Kimi a profité de cette faille, suggérant qu’il n’a pas [les mêmes] garde-corps internes. »
Contrairement à d’autres incidents récents impliquant des agents d’IA agissant en dehors de leurs instructions, Kimi K3 n’a piraté aucun système une fois qu’il a atteint Internet. Frontier a déclaré que les réponses aux problèmes qui lui avaient été posés étaient facilement disponibles sur GitHub. Moonshot n’a pas répondu à une demande de commentaire.
Cette affaire s’ajoute à une série d’incidents récents au cours desquels des agents d’IA dotés de fortes capacités de cybersécurité ont agi en dehors des limites qui leur étaient fixées. Le mois dernier, OpenAI a révélé qu’un modèle inédit s’était répandu sur Internet et avait piraté Hugging Face, une société qui héberge des modèles et des données d’IA, tout en essayant de résoudre une tâche assignée. OpenAI a déclaré plus tard que ses agents avaient également piraté quatre services supplémentaires au cours du même épisode.
Anthropic a ensuite révélé que plusieurs de ses propres modèles avaient obtenu un accès Internet non autorisé et ciblé des systèmes extérieurs. La semaine dernière, l’AI Security Institute (AISI) du Royaume-Uni a déclaré que lors de ses propres tests, des versions des modèles OpenAI et Anthropic avec des mesures de sécurité désactivées avaient effectué plusieurs piratages, y compris une tentative du Mythos 5 d’Anthropic d’insérer du code malveillant dans un projet open source sur GitHub.
Le cas Kimi K3 partage un fil conducteur avec plusieurs de ces incidents : un bac à sable mal configuré a donné au modèle l’accès à des sites Web extérieurs au lieu de le confiner à un environnement simulé. Kimi K3 avait été chargé de résoudre les problèmes sans effectuer de recherche en ligne, mais semble être allé au-delà de ces instructions après avoir sondé les paramètres réseau de son bac à sable et découvert qu’il pouvait accéder à certains sites Web.
Les chercheurs de Frontier ont déclaré que l’erreur humaine semble être un facteur dans chacune de ces éruptions, mais que les conséquences sont amplifiées car les modèles d’IA avancés sont conçus pour raisonner les problèmes et prendre des mesures complexes et indépendantes pour les résoudre.
Une différence entre l’affaire Kimi K3 et les incidents précédents est que Kimi est déjà largement accessible au public, avec les mêmes garanties qu’un utilisateur ordinaire bénéficierait.
« Kimi K3 est très doué pour poursuivre un objectif par tous les moyens nécessaires et ne dispose pas non plus de garde-fous pour l’empêcher de tricher ou de s’échapper du bac à sable », a déclaré Paul Kassianik, chercheur à Frontier Security.
Kassianik et Singer ont tous deux déclaré que Kimi et d’autres modèles à poids ouvert peuvent également servir d’outils efficaces pour la défense de la cybersécurité. Hugging Face a finalement utilisé un modèle d’IA chinois anonyme pour se défendre contre le piratage de l’agent OpenAI. Frontier Security a développé des références mesurant dans quelle mesure les modèles d’IA peuvent détecter les vulnérabilités des logiciels et des réseaux, et la société affirme que Kimi accomplit très bien ces tâches.
Le bac à sable utilisé dans le test de Frontier a été construit par l’AISI pour évaluer les systèmes d’IA. L’AISI n’a pas répondu à une demande de commentaire.
[…] La suite de l’article est à lire sur Breitbart via le lien ci-dessous.
Traduit automatiquement de l’anglais. Le texte original fait foi.
Source : Breitbart — Lire l’article original
À propos de l'auteur
