Dyna-2 usa um milhão de horas de vídeo humano para testar nova rota de escala no aprendizado de robôs

A Dyna Robotics apresentou o Dyna-2, um modelo de mundo e ação pré-treinado em mais de um milhão de horas de vídeo em primeira pessoa de pessoas executando tarefas físicas cotidianas. A empresa relata que aumentar o vídeo humano melhorou previsões tanto em exemplos humanos separados quanto em dados de robôs nunca vistos no pré-treinamento. Sua alegação central é uma lei de escala de transferência humana para robôs: mais experiência humana no conjunto de treino produziu resultados progressivamente melhores apesar da diferença entre corpos.

Equipes de aprendizado robótico costumam coletar dados por teleoperação ou equipamentos especializados. Eles fornecem rótulos valiosos de ação, mas cada hora precisa ser gravada deliberadamente com um robô ou aparelho controlado. A alternativa da Dyna começa com vídeos egocêntricos de pessoas cozinhando, arrumando, dobrando e montando objetos. A empresa criou um fluxo de limpeza e extração de poses das mãos que converte vídeos adequados em trajetórias de pulso e sinais de preensão, e conjuntos aninhados de exatamente mil, 10 mil, 100 mil e um milhão de horas, para cada execução maior acrescentar dados sem substituir a distribuição anterior.

O Dyna-2 modela conjuntamente vídeo e ações futuros com uma base de difusão de vídeo e uma mistura de transformers. Entradas de vídeo e ação têm camadas distintas que trocam informações, enquanto instruções em linguagem condicionam o fluxo de vídeo. O objetivo de vídeo molda uma representação compartilhada de como cenas e objetos mudam, embora a política implantada não precise gerar vídeo futuro antes de agir. A Dyna diz que camadas de ação mais rasas conectadas cedo ao vídeo melhoraram a latência em tempo real sem sacrificar desempenho nos testes de arquitetura.

Nos dados humanos separados, a empresa relata melhora monotônica em erros contínuos e precisão com limiar à medida que o vídeo aumentou. Para examinar a transferência, avaliou os mesmos checkpoints em 39 tarefas de duas plataformas YAM estacionárias de dois braços. As tarefas incluíam tecido, nós, embalagem, limpeza, serviço de alimentos e montagem. Nenhum checkpoint treinou em trajetória desse conjunto robótico. A Dyna diz que todas as métricas se ordenaram monotonicamente pela escala do pré-treinamento humano, com inflexão entre 10 mil e 100 mil horas.

Os pesquisadores então pós-treinaram os quatro checkpoints nos mesmos dados robóticos e fizeram testes físicos cegos em 14 tarefas e três corpos. O desempenho médio normalizado subiu de 20% na menor escala para 28%, 45% e 53% ao chegar a um milhão de horas. O maior modelo foi o melhor em nove das 14 tarefas. Segundo a empresa, girar a chave de uma caixa permaneceu sem solução até 100 mil horas, mas alcançou 90% de sucesso em um milhão.

O exemplo de eficiência que liga mais claramente vídeo humano e robôs usou duas mãos de cinco dedos abrindo uma tampa de garrafa. A Dyna utilizou cerca de 10 minutos de demonstração robótica no pós-treinamento; o desempenho cresceu de 10% nos orçamentos menores para 40% e depois 50% com mais vídeo humano. A recuperação direcionada de bebidas também subiu de 58% para 83%. São experimentos da empresa, e a replicação independente em outros laboratórios, robôs e fontes será importante antes de tratar a relação como universal.

Comparações controladas sugerem que prever vídeo futuro faz mais que adicionar volume. Um objetivo conjunto de vídeo e ação superou o treino apenas de ações nas 39 tarefas offline em toda escala de dados testada, e adicionar dados somente de vídeo trouxe ganhos monotônicos extras na generalização entre corpos. Isso apoia uma rota prática: vídeo humano abundante forneceria conhecimento físico amplo e poucos dados específicos adaptariam o modelo a um corpo e tarefa. Restam dúvidas sobre direitos dos dados, diversidade e qualidade das atividades, desempenho fora das manipulações testadas e se a curva continua com mudanças em modelos, computação e formas robóticas.