SceneSmith utilise des agents d'IA optimisés par GPT-5.2 pour créer des environnements 3D détaillés dans lesquels les robots s'entraînent à des tâches et exposent des plans défectueux devant de vraies maisons.
Demandez à un robot de mettre une tasse de café dans le placard et vous comprendrez vite à quel point une corvée ordinaire peut devenir compliquée. Vous savez où se trouve la tasse. Vous pouvez contourner une chaise, éviter l’encombrement sur le comptoir et ouvrir le bon meuble sans trop y penser. Un robot doit intervenir sur chaque étape de ce processus.
Cela explique en partie pourquoi les robots d’aujourd’hui peuvent sembler impressionnants lors d’une démonstration, mais avoir néanmoins du mal à effectuer des tâches de base dans une maison ou une usine. Ils ont besoin d’expérience dans de nombreuses pièces et situations différentes avant de pouvoir travailler de manière fiable. Leur apprendre tout ce qui concerne le monde physique demande du temps et beaucoup de supervision pratique.
Des chercheurs du laboratoire d’informatique et d’intelligence artificielle du MIT et du Toyota Research Institute pensent que la formation virtuelle pourrait aider. Leur système, appelé SceneSmith, utilise des agents IA pour créer des environnements intérieurs 3D détaillés à partir de simples invites textuelles. Les robots peuvent ensuite s’entraîner à des tâches et exposer des plans d’action faibles dans ces espaces générés par l’IA avant d’entrer dans une véritable maison ou un véritable lieu de travail.
Pourquoi les maisons virtuelles IA sont importantes pour la formation des robots
Les robots apprennent par l’expérience. Cependant, les ingénieurs ne peuvent pas facilement mettre en scène chaque agencement de pièce ou d’objet qu’une machine peut rencontrer. Les tests physiques nécessitent également que quelqu’un réinitialise la scène après chaque tentative. Une chaise renversée ou une bouteille égarée peuvent modifier le prochain test. Pendant ce temps, un mouvement raté peut endommager le robot ou quelque chose à proximité.
La simulation offre une alternative plus sûre. Un robot peut répéter une tâche sans casser un plat ni occuper un véritable espace de travail. Pourtant, de nombreux systèmes de simulation antérieurs créaient des pièces qui semblaient clairsemées. Il leur manquait souvent l’encombrement, les meubles mobiles et les détails physiques que l’on trouve dans les espaces quotidiens. SceneSmith rend ces environnements de formation beaucoup plus proches du monde réel.
D’autres développeurs utilisent également la technologie vidéo IA pour accélérer la formation des robots humanoïdes, transformant de petites quantités de séquences réelles en environnements de formation synthétiques.
SceneSmith commence par une simple demande écrite. Un chercheur pourrait demander un garage avec une voiture et un établi, puis ajouter des pneus dans le coin et une échelle contre le mur. À partir de là, trois agents IA alimentés par GPT-5.2 travaillent ensemble pour construire l’espace. Un designer commence à créer la pièce. Un critique vérifie si tout semble réaliste. Un orchestrateur gère les allers-retours et décide quand la conception est prête.
SceneSmith construit chaque environnement une couche à la fois. Cela commence par le plan d’étage et le mobilier, puis ajoute des objets aux murs et au plafond. Les objets plus petits qu’un robot peut ramasser ou déplacer viennent en dernier. Le critique détecte également des choix qui semblent déplacés. Par exemple, cela pourrait suggérer de retirer une baignoire du salon. L’orchestrateur peut même renvoyer le projet de quelques étapes en arrière lorsqu’une partie de la conception nécessite davantage de travail.
Une fois que les agents sont d’accord, SceneSmith ajoute la physique qui contrôle la façon dont les objets bougent et réagissent. Le résultat donne aux chercheurs une salle virtuelle fonctionnelle dans laquelle un robot peut ouvrir des armoires et manipuler des objets au lieu d’une scène 3D qui semble seulement réaliste.
Un robot a besoin de plus qu’un décor réaliste. Il a besoin d’objets qui réagissent lorsqu’on les touche. SceneSmith peut placer des armoires avec des portes fonctionnelles. Il peut également créer des objets mobiles et estimer des propriétés physiques telles que la masse ou le frottement. Ces détails affectent la façon dont un objet réagit lorsqu’un robot l’attrape, le pousse ou le laisse tomber.
Pour les objets standards, le système peut utiliser un processus texte-image-3D. Il récupère des éléments articulés avec des pièces mobiles dans une bibliothèque organisée. Cette approche permet de conserver les portes d’armoires et les tiroirs fonctionnels à l’intérieur du simulateur. Le système vérifie également les objets qui se chevauchent et laisse la gravité les placer dans des positions stables.
Les chercheurs ont rapporté que 96 % des objets restaient stables pendant la simulation. Moins de 2 % des paires d’objets sont entrées en collision. Ce travail est important car un robot ne peut pas apprendre grand-chose d’une cuisine virtuelle où les tasses flottent ou les meubles s’enfoncent dans le sol.
Une meilleure pratique virtuelle pourrait également soutenir des avancées telles que ce nouveau cerveau IA qui aide les robots à se déplacer davantage comme des humains, en particulier lorsqu’une tâche nécessite des mouvements de main précis.
[…] La suite de l’article est à lire sur Fox News via le lien ci-dessous.
Traduit automatiquement de l’anglais. Le texte original fait foi.
Source : Fox News — Lire l’article original
À propos de l'auteur
