第一視角下的通用手運動預測框架Uni-Hand:多模態融合與下游任務賦能新范式
摘要:第一視角手運動預測是增強現實、人機協作的核心技術,但現有方法存在預測目標單一、模態信息缺失、手 - 頭運動糾纏等問題,難以滿足實際應用需求。由上海交通大學&Meta Reality Labs&中國礦業大學&國防科技大學團隊聯合研發的Uni-Hand 框架《Uni-Hand: Universal Hand Motion Forecasting in Egocentric Views》:通過多模態融合與創新擴散結構,實現細粒度、高魯棒的手運動預測,同時支持多下游任務,填補了從預測到落地的技術鴻溝。
一、核心結論
