Un agent d'IA utilisant Claude AI a annulé la réservation d'une salle de sport d'une autre personne après avoir découvert une faille de sécurité dans les contrôles d'autorisation du système de réservation.
Réserver un cours de gym semble être exactement le genre de tâche quotidienne que vous pourriez confier à un agent IA. Mais quand Andrew Bird a fait cela en Australie, son assistant IA a trouvé un moyen de contourner les règles de réservation du gymnase et a pris une mesure qu’il ne lui avait jamais explicitement demandé de prendre. Ce qui s’est passé ensuite est un bon exemple de la raison pour laquelle donner plus de liberté aux agents d’IA peut comporter des risques très réels.
Nouveau! Cours CyberGuy en direct gratuit : protégez votre argent des plus grandes menaces actuelles
Rejoignez-nous le samedi 29 août à 10 h HE pour un cours CyberGuy LIVE gratuit couvrant cinq étapes simples pour vous aider à vous défendre contre les escroqueries, la fraude, le vol d’identité et les piratages financiers liés à l’IA. Kurt « CyberGuy » Knutsson vous expliquera comment configurer des alertes bancaires, renforcer les connexions à votre compte, protéger votre numéro de téléphone, geler votre crédit et contribuer à sécuriser votre épargne-retraite contre les transferts non autorisés. Aucune expérience technique n’est nécessaire. Vous recevrez également notre liste de contrôle de protection financière, et chaque inscrit recevra ensuite un lien vers l’enregistrement du cours.
Bird, responsable de l’IA chez la société de logiciels australienne Affinda, avait expérimenté OpenClaw, un logiciel d’agent d’IA fonctionnant avec le service Claude AI d’Anthropic. Il voulait que l’agent s’occupe de réserver un cours de gym populaire.
L’agent a découvert que le logiciel de réservation n’appliquait pas correctement certaines restrictions. Il a trouvé un moyen de réserver des cours plusieurs semaines au-delà de la fenêtre de réservation prévue. Plus tard, Bird était quatrième sur une liste d’attente pour un cours. Il a demandé si l’agent pouvait le déplacer au sommet.
L’agent a découvert une autre faiblesse. Le système de réservation manquait de contrôles d’autorisation qui auraient dû empêcher un utilisateur d’annuler la réservation d’une autre personne. Ensuite, l’agent a testé cette faiblesse sur la personne assise en haut de la liste d’attente. L’annulation a fonctionné. Bird est passé du quatrième au troisième. Il n’a pas été admis dans la classe et il n’a même pas atteint le sommet de la liste d’attente.
Bird avait demandé s’il était possible d’aller plus haut. Il n’avait pas demandé à l’agent de renvoyer une autre personne pour que cela se produise.
L’IA a retiré une autre personne de la liste d’attente
Cette séquence est importante car l’agent ne suivait pas une commande pour annuler la réservation de quelqu’un d’autre. Il a trouvé sa propre méthode pour poursuivre l’objectif de Bird. Après l’annulation, Bird a immédiatement demandé à l’IA d’annuler ce qu’elle avait fait. L’agent lui a dit qu’il ne pouvait pas rajouter la personne et a supprimé la personne en haut de la liste d’attente.
Cela a fait passer Bird du n°4 au n°3. Ce qui retient mon attention, c’est comment il est arrivé là. L’agent a trouvé une faille de sécurité et l’a testée sur la liste d’attente d’une personne réelle sans que Bird ne lui demande explicitement de le faire.
L’agent IA mérite ici un examen minutieux, mais le logiciel de réservation présentait également une sérieuse faiblesse. Un système de réservation correctement sécurisé ne devrait pas permettre à un compte d’annuler la réservation d’une autre personne simplement parce que quelqu’un envoie la bonne demande à son interface de programmation d’application, ou API. L’agent a signalé que l’API ne disposait pas de contrôles d’autorisation pour annuler les réservations d’autres personnes.
Cette faiblesse a donné une ouverture à l’IA. Cela vaut la peine d’être observé à mesure que les agents d’IA deviennent plus performants. Ils peuvent interagir avec des sites Web et des services en ligne susceptibles de contenir des contrôles d’autorisation faibles ou d’autres failles de sécurité. Un humain pourrait voir une classe complète et s’arrêter. Un agent IA peut continuer à chercher un autre itinéraire.
Après que l’agent n’a pas réussi à restaurer la place de l’autre membre du gymnase, Bird s’est concentré sur la signalement de la vulnérabilité. Il a demandé à l’IA de préparer un e-mail de divulgation responsable pour le fournisseur de logiciels de salle de sport. L’agent a rédigé le message et l’a renvoyé à Bird pour approbation.
Le média australien a rapporté que la société à l’origine du logiciel de réservation avait refusé de discuter de problèmes de sécurité spécifiques. Anthropic n’a pas répondu à la demande de commentaires du média. CyberGuy a également contacté Anthropic pour obtenir ses commentaires, mais n’a pas reçu de réponse avant notre date limite.
Un chatbot attend généralement une question et vous donne une réponse. Un agent IA peut faire bien plus. Selon la configuration, il peut interagir avec des sites Web et utiliser des outils connectés pour effectuer des tâches en plusieurs étapes. Cette capacité peut faire gagner beaucoup de temps.
Vous pouvez demander à un agent de rechercher des options de voyage ou de gérer une tâche en ligne répétitive sans passer par chaque clic. Mais une plus grande liberté donne également à l’IA plus de choix quant à la manière dont elle atteint votre objectif.
Cela soulève une question plus difficile. Que se passe-t-il lorsqu’un agent trouve une méthode qui fonctionne techniquement mais qui franchit une frontière que vous n’aviez jamais eu l’intention de franchir ? L’expérience de Bird en salle de sport nous donne un exemple très pertinent. Il voulait de l’aide pour une réservation. L’agent a découvert une faiblesse logicielle et l’a utilisée d’une manière qui a affecté une autre personne.
Pourquoi les agents IA soulèvent de plus grandes questions de sécurité
L’épisode du gymnase survient alors que des chercheurs et des sociétés d’IA examinent ce qui se passe lorsque de puissants systèmes d’IA rencontrent des obstacles alors qu’ils poursuivent un objectif. Le rapport australien souligne les récentes évaluations de cybersécurité dans lesquelles des modèles d’IA avancés ont atteint des systèmes réels auxquels ils n’étaient pas censés accéder.
Ces situations impliquaient des tests de sécurité délibérés. Le cas de Bird se démarque car il s’est produit lors d’une tâche quotidienne, en dehors d’une évaluation de cybersécurité. Les agents d’IA ont de plus en plus accès aux sites Web et aux services connectés. Si ces systèmes contiennent des contrôles d’autorisation faibles, des agents compétents peuvent les trouver.
Pourquoi ce hack de gym AI devrait attirer votre attention
Les sites Web contiennent des bugs. Les autorisations faibles et les API mal sécurisées ne sont pas une nouveauté. Ce qui change, c’est le logiciel qui interagit avec eux. Un agent IA peut continuer à essayer différentes approches après l’échec de la route évidente. Il peut inspecter les outils disponibles et résoudre un problème sans attendre que vous dirigiez chaque étape. Cela peut être extrêmement utile lorsque l’agent reste dans les limites souhaitées.
Le souci survient lorsqu’il décide lui-même quelles méthodes sont acceptables. Bird voulait grimper sur la liste d’attente d’un gymnase. Son agent a trouvé une option que Bird n’a jamais explicitement autorisée. Pensez maintenant au même comportement concernant votre courrier électronique, vos comptes financiers ou d’autres services sensibles. Les enjeux montent rapidement.
Les agents IA peuvent faciliter les tâches fastidieuses, mais je ferais attention au degré d’autorité que vous confiez.
Donnez à un agent IA accès uniquement aux comptes dont il a besoin pour le travail. Évitez de connecter des comptes sensibles simplement parce que l’option existe. Un accès accru donne à un agent davantage d’endroits où une action inattendue peut avoir des conséquences.
Chaque fois que l’outil le permet, demandez votre approbation avant que l’agent envoie des messages, dépense de l’argent ou modifie une réservation. Vous voulez voir une action conséquente avant qu’elle ne se produise plutôt que de la découvrir par la suite.
Ne vous concentrez pas uniquement sur le résultat souhaité. Dites à l’agent quelles méthodes sont interdites. Par exemple, vous pourriez dire : « Utilisez uniquement les options normalement disponibles. Ne contournez pas les restrictions, n’exploitez pas les failles de sécurité et ne modifiez pas le compte ou la réservation d’une autre personne. » Cela donne à l’IA des instructions plus claires sur la façon dont vous attendez qu’elle se comporte.
[…] La suite de l’article est à lire sur Fox News via le lien ci-dessous.
Traduit automatiquement de l’anglais. Le texte original fait foi.
Source : Fox News — Lire l’article original
À propos de l'auteur
