Neurone21
← Actualités

Ai2 MolmoAct 7B : raisonner dans le monde physique

Modeles IA

Le fait

Les 12–13 août 2025, l’Allen Institute for AI (Ai2) annonce MolmoAct 7B, présenté comme le premier Action Reasoning Model (ARM) : une IA incarnée qui ne mappe plus directement langage → commande moteur, mais raisonne dans l’espace 3D. Pipeline en trois étapes autoregressives : tokens de perception depth-aware, planification par waypoints dans l’espace image, puis décodage d’actions bas niveau. Entraîné sur un sous-ensemble Open-X Embodiment puis post-entraîné sur ~10 000–12 000 « robot episodes » ménagers (cuisine, chambre…), le modèle et ses artefacts (poids, code, datasets, evals) sont entièrement open. Benchmarks cités : ~70–72 % zero-shot sur SimplerEnv (devant π0 et GR00T N1.5 sur certains setups), 86,6 % moyen sur LIBERO, gains en fine-tuning réel (+10 % bras simple, +22,7 % bimanuel vs π0-FAST) et +23,3 % en généralisation OOD.

Contexte

Les VLA (vision-language-action) commerciaux restent souvent des boîtes noires entraînées sur des datasets propriétaires massifs (centaines de millions de samples, milliers de GPU). Ai2 inverse la thèse : qualité + raisonnement structuré + ouverture plutôt que scale opaque. MolmoAct s’appuie sur la famille VLM open Molmo ; le pré-entraînement tient en ~26 M samples / 256 H100 (~1 jour), fine-tuning ~2 h sur 64 H100 — loin des 600–900 M samples de GR00T ou π0. Transparence opérationnelle : trajectoires de mouvement superposées à la caméra avant exécution ; correction possible en langage naturel ou par sketch tactile. Cible affichée : maisons, hôpitaux, entrepôts — là où l’humain doit pouvoir anticiper et corriger le robot.

Pourquoi ça compte

Pour la robotique, le goulot n’est plus seulement le bras : c’est la politique de contrôle (explicable, steerable, généralisable). Un ARM open change la donne pour labos, intégrateurs et scale-ups qui ne peuvent pas signer un contrat data fermé avec un géant. La release dataset post-training (~10k+ épisodes chaînés en chain-of-thought action) est aussi stratégique que les poids : c’est le type d’artefact rare et cher à produire. Face aux stacks propriétaires (Physical Intelligence, NVIDIA GR00T, etc.), MolmoAct pose un socle reproductible pour comparer, fine-tuner et auditer — critère critique dès qu’on parle sécurité collaborative et conformité.

Lecture Neurone21

Lecture Neurone21 : MolmoAct formalise ce que Steropes suit depuis des mois — le passage de l’IA « chat » à l’IA spatiale, avec ouverture comme différenciateur, pas comme afterthought. Trois lectures business : (1) les benchmarks SimplerEnv/LIBERO deviennent le langage commun pour challenger un fournisseur VLA ; (2) la steerability visuelle (preview + sketch) est un argument produit autant qu’un paper ; (3) l’efficacité compute (jour de pré-train) abaisse la barrière pour des acteurs EU. À croiser avec la vague Physical AI NVIDIA / RoboBusiness octobre : stack fermée accélérée vs blueprint open Ai2 — le marché aura besoin des deux, mais la confiance se joue du côté inspectable.

Sources : Ai2 blog MolmoAct · The Robot Report · Business Wire · arXiv 2508.07917