NVIDIA défend les modèles de monde ouverts pour le développement de l’IA physique

NVIDIA défend l’idée que les modèles de monde ouverts deviendront une base importante de l’IA physique, catégorie de systèmes qui doivent comprendre des environnements réels et y agir plutôt que seulement générer du texte ou des images. Dans une nouvelle présentation de son approche, l’entreprise explique que ces modèles peuvent apprendre des relations physiques, prévoir ce qui pourrait se produire ensuite et aider les équipes à générer des données, exécuter des simulations et spécialiser un système pour un robot, un véhicule ou une application de vision donnée. L’annonce s’articule autour de la famille Cosmos 3 et des bibliothèques Omniverse, mais elle défend aussi l’importance de modèles adaptables et d’outils de simulation partagés dans un domaine où presque aucun déploiement n’est identique.

Les équipes d’IA physique rencontrent un problème de données différent de celui de nombreuses applications purement logicielles. Un robot ou un véhicule doit répondre à des changements de lumière, de météo, d’objets, de capteurs et de comportement humain, y compris à des événements rares difficiles ou dangereux à reproduire et collecter de manière répétée dans le monde réel. NVIDIA affirme que les modèles de monde peuvent générer des données de monde et d’action ancrées dans la physique, simuler des états futurs et fournir un point de départ aux systèmes qui doivent raisonner sur ces conditions. Ils sont présentés comme un moyen de tester des politiques et de créer des environnements d’entraînement plus divers avant un déploiement réel, et non comme un substitut à la validation dans le monde réel.

NVIDIA positionne la famille Cosmos 3 comme une base commune pour plusieurs tâches liées. Elle combinerait raisonnement visuel, génération de monde et prédiction d’action, afin que les développeurs puissent utiliser une même famille pour comprendre des scènes, générer des données synthétiques, simuler des états possibles et construire des modèles d’action dans le monde spécialisés. La gamme comprend Cosmos 3 Super, avec 64 milliards de paramètres, pour la modélisation de monde haute fidélité ; Cosmos 3 Nano, avec 16 milliards, pour un raisonnement et un post-entraînement efficaces ; et Cosmos 3 Edge, avec 4 milliards, pour le raisonnement visuel embarqué et le déploiement de politiques robotiques. Ce sont les caractéristiques d’une famille de produits, non l’affirmation qu’un modèle convient sans modification à chaque déploiement.

L’ouverture est au cœur de l’argument de l’entreprise. NVIDIA dit que les modèles fondamentaux de monde Cosmos sont disponibles sous la licence OpenMDW 1.1 de la Linux Foundation, ce qui permet aux équipes de les post-entraîner avec leurs propres données et matériels. Dans l’IA physique, cette flexibilité est importante parce qu’un modèle général n’a pas vu chaque conception de robot, ensemble de capteurs, entrepôt, route ou condition d’exploitation d’un client. L’accès aux poids, une licence permettant l’adaptation et les outils de post-entraînement sont présentés comme des exigences techniques concrètes pour combler cet écart, et non comme une simple préférence idéologique pour les modèles ouverts.

La couche de modèles est associée à une infrastructure de simulation. NVIDIA indique que les bibliothèques Omniverse aident à créer des mondes prêts pour la simulation, tandis qu’OpenUSD fournit un cadre pour composer et échanger des données tridimensionnelles complexes entre jumeaux numériques, simulations et flux de données synthétiques. L’avantage attendu est de réduire le travail dupliqué quand des actifs, configurations de capteurs ou conditions environnementales changent. Une équipe peut devoir modifier la position d’une caméra ou la météo sans reconstruire chaque partie d’un environnement virtuel. L’annonce présente ces outils comme des briques de construction, non comme une garantie que la simulation seule produira un comportement sûr dans la réalité.

NVIDIA a aussi cité des usages en robotique, véhicules autonomes et IA visuelle, nommé des entreprises travaillant avec Cosmos dans ces domaines et évoqué une Cosmos Coalition destinée à réunir créateurs de modèles, développeurs et organisations d’IA physique autour de modèles, de recherche et de méthodes d’évaluation. L’entreprise a récemment étendu la coalition au Japon, où les participants prévoient de développer des modèles de monde ouverts pour les usines, la logistique, l’agriculture, la construction, la santé et les transports. Les exemples montrent les domaines où NVIDIA espère voir l’approche appliquée, sans démontrer que tous les secteurs ont atteint le même degré de déploiement ou de maturité.

L’enjeu plus général est que l’IA physique se dirige vers une pile comprenant modèles, données d’entraînement spécialisées, environnements de simulation, évaluation et adaptation au domaine. L’argument de NVIDIA en faveur des modèles de monde ouverts est particulièrement fort lorsqu’un client doit contrôler toute cette chaîne, plutôt qu’une réponse d’API fixe. Les questions ouvertes concernent le coût, la qualité et le transfert au réel : avec quelle fidélité une simulation représente-t-elle un événement rare, quel volume de post-entraînement exige un déploiement et comment les équipes mesureront-elles la sécurité avant qu’un système automatisé agisse près de personnes ? La mise à jour d’août trace une voie pour ces problèmes, mais la preuve dépendra des résultats des systèmes construits sur cette base.