近日,东北大学机器人科学与工程学院王斐教授团队的最新研究成果“Homogeneous multimodal adaptive cross-attention fusion with confidence-aware keypoints evaluation for 6DoF pose estimation”于计算机科学和人工智能领域的国际权威刊物《Information Fusion》在线发表,2026年最新影响因子17.4。学院博士研究生郭意为论文第一作者,王斐教授为通讯作者,东北大学为唯一作者单位。
基于RGB-D数据进行6D姿态估计是计算机视觉领域的一个重要研究方向,姿态估计的结果直接取决于输入数据的性质。仅依赖单模态方法往往会导致估计精度下降。另一方面,多模态方法需要独立的网络分支来编码不同形式的输入数据,增加了模型复杂性。更重要的是,不同的模态数据之间存在固有的差异,如何有效地对这些异构信息源进行对齐并捕捉它们之间的内在联系仍然是一个突出的挑战。
为解决上述局限性,我们提出了一种用于6D姿态估计同源多模态融合的创新性方法,相对于现有的双分支方法,这种设计范式避免了点云生成带来的数据转换误差以及辅助几何特征提取分支带来的计算复杂度。核心思想是设计一种新颖的分层多尺度架构,称为同源多模态融合网络用于跨模态的深度融合。通过构建RGB与深度模态之间的交互模块,以全局语义相似性与局部细节表示相结合的方式,隐式地聚合两种模态数据的显著特征,实现深层次的信息融合。

本文所提出的同构多模态自适应交叉注意力融合框架
通过对多个主流基准数据集进行对比分析实验,并辅以系统性的消融实验,实验证明了本方法在多个数据集上均取得了优异的性能。最后,通过实际场景的抓取实验验证了该方法在复杂场景下的适用性。
王斐教授团队长期致力于研究和解决机器人+具身智能/脑机接口交叉领域中生机电一体化、多模态感知与认知和人机交互与协作等关键科学理论和技术难题。所获得的研究成果广泛应用于智能制造、康复医疗等领域,在机器人姿态感知与目标跟踪、基于大模型的自主决策、机器人模仿学习与技能迁移方法以及人机协作系统行业应用等方面的研究,研究成果先后发表在Cell子刊、IEEE T-Mech、T-ASE、TIM 、Elsevier IF、ESWA等国际顶刊以及ICML、IEEE ICRA/IROS等国际顶会上。
Information Fusion期刊是人工智能领域与计算机科学的国际顶尖权威刊物,被中国计算机学会(CCF)推荐国际学术会议列表认定为A类,属于中国科学研究院一区Top期刊,2026年最新影响因子为17.4,五年影响因子平均为19.9,其研究重点涵盖了信息融合、数据融合、知识融合等领域,所录用的稿件反映了信息融合领域的前沿研究水平。
论文链接:https://www.sciencedirect.com/science/article/pii/S1566253525011212