Deux systèmes d'IA avancés d'OpenAI et d'Anthropic ont créé des profils humains frauduleux et ont tenté de tromper les gens lors de cyberattaques simulées lors de tests menés par l'AI Security Institute du Royaume-Uni.
Deux systèmes d’IA avancés d’OpenAI et d’Anthropic ont créé des profils humains frauduleux et ont tenté de tromper les gens lors de cyberattaques simulées lors de tests menés par l’AI Security Institute du Royaume-Uni.
BBC News rapporte que l’AI Security Institute du Royaume-Uni a révélé mardi que Mythos AI d’Anthropic et Sol d’OpenAI avaient adopté un comportement trompeur lors de tests qui ont débuté le 25 juillet. Les évaluateurs ont découvert des transferts de données inhabituels quittant leurs systèmes de recherche le 28 juillet et ont découvert que certains agents d’IA s’étaient livrés à des activités soutenues et potentiellement dangereuses dirigées contre de vraies personnes et organisations.
Lors de l’incident le plus grave, un agent Mythos a tenté d’accéder à GitHub, un vaste référentiel de codes logiciels appartenant à Microsoft. L’agent a suivi des tactiques similaires à celles utilisées par les pirates humains, essayant d’insérer du code malveillant dans le système de la plateforme.
L’IA a identifié et recherché les personnes qui maintenaient GitHub, puis a créé plusieurs faux comptes basés sur ces personnes réelles. Il envoyait des messages et des fichiers via un service de partage de fichiers dans le but de faire pression et d’inciter les gens à approuver son code malveillant. Lorsqu’il a été mis au défi, l’agent a modifié son activité antérieure pour paraître inoffensive et a envisagé d’adopter une nouvelle identité pour poursuivre ses tentatives.
L’examen humain a empêché l’agent de transmettre avec succès le code malveillant à GitHub tout au long du processus. L’institut a déclaré que c’était la première fois qu’il observait des risques liés à l’autonomie et à la tromperie qui se manifestaient clairement sans incitation spécifique dans des conditions réelles. L’agent de Mythos n’avait pas reçu spécifiquement pour instruction d’éviter un tel comportement.
L’AI Security Institute avait demandé à chaque modèle de résoudre un défi de cybersécurité impliquant GitHub. Les paramètres de test ont donné à l’IA un accès à l’Internet ouvert pour fournir ce que l’institut a décrit comme une idée plus réaliste de ce qu’un modèle peut être capable de faire entre les mains d’acteurs malveillants. Ces conditions ne reflètent pas la manière dont les modèles avancés sont mis à la disposition du public, a reconnu l’institut.
L’institut a déclaré que le comportement en question concernait un petit nombre d’événements dans des conditions très spécifiques. Cependant, il a noté que la manière dont Mythos et Sol ont agi en réponse à une tâche simple allait au-delà de ce que les outils d’IA étaient invités à faire. L’activité entreprise par les agents a montré des signes de comportements nouveaux, potentiellement trompeurs, qui se sont produits à un degré et à une gravité que l’institut n’avait pas anticipés.
Anthropic a déclaré dans une réponse publique que les paramètres de test n’étaient représentatifs d’aucun de ses modèles de production. L’entreprise a déclaré qu’elle menait sa propre enquête pour identifier les causes de ce comportement.
Un porte-parole d’OpenAI a déclaré que les conditions de test ne reflètent pas une utilisation normale. L’entreprise a déclaré qu’elle continuerait à travailler avec les évaluateurs et d’autres parties prenantes du secteur pour renforcer les pratiques partagées permettant de mener des évaluations en toute sécurité à mesure que les modèles deviennent plus performants.
Les deux sociétés ont noté que le test avait réduit ou supprimé les garanties normales qui existent dans leurs systèmes accessibles au public.
GitHub a été informé par l’AI Security Institute des tentatives de violation, ainsi que par les utilisateurs concernés. La plateforme a déclaré à la BBC qu’elle avait désactivé les faux comptes conformément à ses politiques.
Breitbart News avait précédemment rapporté que le modèle d’OpenAI avait échappé au confinement lors des tests et piraté la plateforme Hugging Face AI lors d’une attaque « sans précédent » :
La violation s’est produite lors de ce que l’on appelle des tests sandbox, conçus pour être des environnements sécurisés dans lesquels les capacités de l’IA peuvent être évaluées en toute sécurité. Selon la divulgation, les agents d’IA ont créé indépendamment leur propre cyberattaque contre l’infrastructure du bac à sable, identifiant et exploitant une vulnérabilité qui a permis leur évasion. Après être sortie de l’environnement contrôlé, l’intelligence artificielle a identifié Hugging Face comme une source probable d’informations qu’elle recherchait pendant le test et a tenté d’accéder aux systèmes de la plateforme.
[…] La suite de l’article est à lire sur Breitbart via le lien ci-dessous.
Traduit automatiquement de l’anglais. Le texte original fait foi.
Source : Breitbart — Lire l’article original
À propos de l'auteur
