Dyna-2 exploite un million d’heures de vidéo humaine pour tester une nouvelle voie de mise à l’échelle de l’apprentissage robotique

Dyna Robotics a présenté Dyna-2, un modèle monde-action préentraîné sur plus d’un million d’heures de vidéo à la première personne montrant des humains accomplissant des tâches physiques ordinaires. L’entreprise indique que l’augmentation des vidéos humaines a amélioré les prédictions sur des exemples humains réservés et sur des données robotiques jamais vues au préentraînement. Sa thèse centrale est une loi de transfert de l’humain au robot: davantage d’expérience humaine dans l’entraînement produit des résultats progressivement meilleurs malgré l’écart entre les corps.

Les équipes d’apprentissage robotique recueillent souvent des données par téléopération ou matériel spécialisé. Ces méthodes donnent de précieuses étiquettes d’action, mais chaque heure doit être enregistrée volontairement avec un robot ou appareil contrôlé. L’alternative de Dyna part de vidéos égocentriques de personnes qui cuisinent, rangent, plient et assemblent. L’entreprise a créé une chaîne de nettoyage et d’extraction des poses des mains transformant les séquences adaptées en trajectoires du poignet et signaux de préhension, puis des ensembles imbriqués d’exactement 1 000, 10 000, 100 000 et un million d’heures, chaque entraînement ajoutant des données sans remplacer la distribution précédente.

Dyna-2 modélise ensemble vidéo et actions futures avec un socle de diffusion vidéo et un mélange de transformers. Les entrées vidéo et action ont des couches distinctes qui échangent des informations, tandis que les instructions linguistiques conditionnent le flux vidéo. L’objectif vidéo forme une représentation commune de l’évolution des scènes et objets, même si la politique déployée n’a pas besoin de générer une vidéo future avant d’agir. Dyna affirme que des couches d’action moins profondes reliées tôt au flux vidéo ont réduit la latence en temps réel sans sacrifier les performances dans ses tests d’architecture.

Sur les données humaines réservées, l’entreprise rapporte une amélioration monotone des erreurs continues et de la précision à seuil à mesure que la vidéo augmente. Pour étudier le transfert, elle a évalué les mêmes points de contrôle sur 39 tâches issues de deux plateformes YAM fixes et à deux bras, dont manipulation de tissu, nœuds, emballage, nettoyage, service alimentaire et assemblage. Aucun point n’avait appris sur une trajectoire du test robotique. Dyna dit que toutes les métriques se sont ordonnées monotonement selon l’échelle humaine, avec une inflexion entre 10 000 et 100 000 heures.

Les chercheurs ont ensuite post-entraîné les quatre points avec les mêmes données robotiques et réalisé des tests physiques en aveugle sur 14 tâches et trois corps. La performance normalisée moyenne est passée de 20% à la plus petite échelle à 28%, 45%, puis 53% à un million d’heures. Le plus grand modèle était meilleur sur neuf des 14 tâches. Selon l’entreprise, tourner la clé d’un coffre est resté insoluble jusqu’à 100 000 heures, mais a atteint 90% de réussite à un million.

L’exemple d’efficacité qui relie le plus clairement vidéo humaine et robotique portait sur deux mains à cinq doigts ouvrant un bouchon. Dyna a utilisé environ 10 minutes de démonstrations robotiques au post-entraînement; la performance est passée de 10% avec les petits budgets à 40%, puis 50% avec davantage de vidéo humaine. La récupération ciblée de boissons est aussi passée de 58% à 83%. Ces expériences sont menées par l’entreprise; une réplication indépendante dans d’autres laboratoires, robots et sources sera importante avant de considérer la relation comme universelle.

Les comparaisons contrôlées suggèrent que prédire la vidéo future fait plus qu’ajouter du volume. Un objectif vidéo-action commun a dépassé l’apprentissage d’actions seul sur les 39 tâches hors ligne et à chaque volume d’actions testé; l’ajout de vidéo seule a encore amélioré monotonement la généralisation entre corps. Cela soutient une voie pratique: une abondante vidéo humaine apporterait un vaste savoir physique, puis peu de données robotiques adapteraient le modèle à un corps et une tâche. Restent les droits sur les données, la diversité et la qualité des activités, les performances hors des manipulations testées et la poursuite de la courbe quand modèles, calcul et formes robotiques changent.