Dyna-2 testet mit einer Million Stunden menschlicher Videos einen neuen Skalierungspfad für Roboterlernen

Dyna Robotics hat Dyna-2 vorgestellt, ein Welt-Aktions-Modell, das mit mehr als einer Million Stunden Ich-Perspektiv-Video von Menschen bei alltäglichen körperlichen Tätigkeiten vortrainiert wurde. Mehr menschliches Video habe Prognosen sowohl für zurückgehaltene menschliche Beispiele als auch für im Vortraining ungesehene Roboterdaten verbessert. Die zentrale Aussage ist ein Transfer-Skalierungsgesetz vom Menschen zum Roboter: Mehr menschliche Erfahrung im Trainingssatz erzeugte über die Verkörperungslücke hinweg fortschreitend bessere Ergebnisse.

Roboterlernteams sammeln Daten oft per Teleoperation oder Spezialausrüstung. Das liefert wertvolle Aktionskennzeichnungen, doch jede Stunde muss bewusst mit Roboter oder kontrolliertem Gerät aufgenommen werden. Dynas Alternative beginnt mit egozentrischen Videos von Menschen beim Kochen, Aufräumen, Falten und Zusammenbauen. Eine Reinigungs- und Handposenpipeline wandelt geeignetes Material in Handgelenkbahnen und Greifsignale um. Danach entstanden verschachtelte Sätze mit exakt 1.000, 10.000, 100.000 und einer Million Stunden, sodass größere Läufe Daten ergänzten, ohne die frühere Verteilung zu ersetzen.

Dyna-2 modelliert künftiges Video und künftige Aktionen gemeinsam über ein Video-Diffusions-Grundmodell und mehrere Transformer. Video- und Aktionseingaben haben getrennte, informationsaustauschende Ebenen; Sprachanweisungen konditionieren den Videostrom. Das Videoziel formt eine gemeinsame Darstellung von Szenen- und Objektveränderungen, obwohl die eingesetzte Strategie vor dem Handeln kein Zukunftsvideo erzeugen muss. Früh mit dem Videostrom verbundene flachere Aktionsebenen hätten in Architekturtests die Echtzeitlatenz ohne Leistungseinbußen verbessert.

Bei zurückgehaltenen Menschendaten meldet das Unternehmen monotone Verbesserungen kontinuierlicher Fehlermaße und schwellenbasierter Genauigkeit mit wachsendem Video. Für den Transfer bewertete es dieselben Prüfpunkte auf 39 Aufgaben zweier stationärer, zweiarmiger YAM-Plattformen, darunter Stoffhandhabung, Knoten, Verpacken, Reinigen, Bewirten und Montieren. Kein Prüfpunkt kannte eine Bahn des Robotertests. Dyna zufolge ordnete sich jede Kennzahl monoton nach Umfang des menschlichen Vortrainings, mit einem Wendepunkt zwischen 10.000 und 100.000 Stunden.

Danach trainierten die Forscher vier Prüfpunkte mit denselben Roboterdaten nach und führten verblindete physische Tests über 14 Aufgaben und drei Körperformen durch. Die mittlere normierte Leistung stieg von 20% bei kleinstem Videoumfang auf 28%, 45% und bei einer Million Stunden 53%. Das größte Modell war bei neun von 14 Aufgaben am besten. Eine Schlüssel-Drehaufgabe an einem Schließfach blieb bis 100.000 Stunden ungelöst, erreichte laut Unternehmen bei einer Million jedoch 90% Erfolg.

Das deutlichste Effizienzbeispiel verband menschliche Videos mit dem Öffnen eines Flaschendeckels durch zwei fünffingrige Hände. Dyna nutzte für das Nachtraining rund 10 Minuten Roboterdemonstrationen; die Leistung stieg mit mehr menschlichem Video von 10% bei kleineren Budgets auf 40% und dann 50%. Das gezielte Holen von Getränken stieg von 58% auf 83%. Es sind unternehmenseigene Versuche; unabhängige Wiederholung in anderen Laboren, Robotern und Datenquellen ist nötig, bevor die Beziehung als allgemein gilt.

Kontrollierte Vergleiche deuten darauf hin, dass Zukunftsvideoprognose mehr leistet als Trainingsvolumen hinzuzufügen. Ein gemeinsames Video-Aktions-Ziel übertraf reines Aktionstraining bei allen 39 Offline-Aufgaben und jeder getesteten Aktionsdatenmenge; reine Videodaten brachten weitere monotone Gewinne der Verkörperungsübergreifenden Generalisierung. Das stützt einen praktischen Pfad: reichlich menschliches Video vermittelt breites physisches Wissen, wenig roboterspezifisches Material passt es an Körper und Aufgabe an. Offen bleiben Datenrechte, Vielfalt und Qualität der Aufnahmen, Leistung außerhalb getesteter Manipulationen und der Kurvenverlauf bei veränderten Modellen, Rechenleistung und Roboterformen.