MIT CSAIL vision du corps du robot

Le 25 juin 2025, Nature publie les Neural Jacobian Fields (NJF) du MIT CSAIL : un système qui apprend la géométrie 3D d’un robot et sa réponse aux commandes moteurs à partir de la vision seule, sans capteurs embarqués ni modèle cinématique écrit à la main.

Le fait

L’équipe (lead Sizhe Lester Li, avec Vincent Sitzmann, Daniela Rus et coll.) entraîne le robot en mouvements aléatoires filmés sous plusieurs caméras, puis pilote en boucle fermée avec une seule caméra monoculaire (~12 Hz). NJF étend les NeRF : au-delà de la forme, le réseau apprend un champ jacobien — pour chaque point du corps, comment il bouge quand on actionne un moteur. Validé sur une main soft pneumatique (sans capteurs), une main Allegro rigide, un bras imprimés 3D, et une plateforme rotative. Message clé des auteurs : le frein à une robotique abordable et flexible n’est souvent pas le hardware, mais le contrôle — surtout dès que le robot est soft, déformable ou irrégulier.

Contexte

La robotique industrielle a longtemps imposé des machines rigides et riches en encodeurs pour faciliter le jumeau numérique. Les robots soft / bio-inspirés cassent ce contrat : difficile de modéliser, coûteux à instrumenter. NJF inverse la logique — observer pour apprendre un modèle interne, plutôt que forcer le design à coller à un modèle. Entraînement encore multi-vues et spécifique à chaque robot ; pas encore de généralisation cross-robots ni de retour force/tactile. Mais la porte s’ouvre : demain, un hobbyiste pourrait filmer des mouvements aléatoires au téléphone pour obtenir un modèle de contrôle.

Pourquoi ça compte

Si la vision suffit à reconstruire corps + jacobien, on libère le design morphologique : moins de capteurs embarqués « pour le modèle », plus de morphologies non conventionnelles contrôlables. C’est un levier pour soft robots, bras low-cost, drones/manipulateurs en milieux sans infrastructure (ferme, chantier, intérieur cluttered) — là où GPS et suites de capteurs chers échouent. Publication Nature = validation scientifique forte du basculement « programmer le robot → lui apprendre à se connaître ».

Lecture Neurone21

Juin 2025 fixe un slogan utile pour la roadmap robotique : contrôle > hardware comme goulot. À suivre : généralisation inter-robots, gestion des occlusions, horizons spatio-temporels plus longs, et passage lab → stack open-source (déjà un dépôt GitHub / dataset). Pour l’industrie EU : piste concrète pour baisser le coût d’intégration des morphologies soft sans suite proprioceptive premium.

Sources : Nature — Li et al., « Controlling diverse robots by inferring Jacobian fields with deep networks » (25/06/2025) ; MIT CSAIL News — « Robots that know themselves… » (26/06/2025) ; MIT News / The Robot Report — reprises vision-based body awareness (juin–juil. 2025) ; GitHub sizhe-li/neural-jacobian-field.