-
课题组研究方向主要分为：
1.具身智能（VLN、VLA）
2.大语言模型（人机对话导航等）
3.人形机器人运动控制
4.计算机视觉（医学影像处理）
具身智能
视觉-语言-动作（VLA）模型为本课题组核心研究方向，旨在构建融合视觉感知、语言理解与动作生成的多模态智能体，使机器人能够理解自然语言指令并在物理世界中自主执行复杂任务。
端到端VLA模型以统一的多模态架构将原始视觉输入、语言指令和环境状态直接映射为可执行的动作序列，通过跨模态注意力机制深度融合视觉特征与语言意图，实现从感知到决策的全流程闭环，摒弃了传统模块化系统中的信息割裂问题。
分层VLA模型，是一种基于多模态大模型的层级化系统，其核心架构由任务逻辑推理中心（主LLM）与协作式子模型（辅助LLM集群）构成，通过分工协同实现复杂任务的高效执行。主LLM作为决策中枢，负责解析自然语言指令、构建全局任务规划，并通过跨模态注意力机制融合视觉算法和机械臂运动学模型，生成粗粒度操作意图。辅助LLM集群配合主LLM将复杂任务拆解为子任务链，结合视觉信息实时推理环境动态（如遮挡、物理约束）并生成修正指令；同时通过自我评估优化控制参数，衔接高层决策与底层执行，增强系统在复杂场景中的适应性与精度。
长序列任务的VLA模型，其核心架构以主LLM为全局任务中枢，基于实验规程解析长序列逻辑，通过符号推理生成跨小时级的任务时序图谱；辅助LLM集群则拆解子任务链，结合视觉算法监测重复操作的一致性，并通过自我审核机制修正偏差。底层采用端到端VLA控制器，将高层指令转化为机械臂连续动作流，通过扩散模型优化重复操作的精度稳定性。该方案既通过端到端建模保证连续动作的流畅性，又借助分层LLM的逻辑调控应对长序列中的动态变化，即保障了任务进行的流畅度，也保证了相关操作的规范性约束。
人形机器人运动控制
围绕人形机器人的动态运动能力开展研究，聚焦于基于深度强化学习的全身运动控制方法。研究内容包括：基于运动模仿学习的预训练方法，利用大规模人体运动数据集为机器人建立通用运动先验；目标条件微调策略，使机器人在特定任务（如跳跃、快速行走、地形适应）中实现高性能表现；以及大规模域随机化技术，增强仿真训练策略向真实物理环境的迁移鲁棒性。当前实验平台基于MagicBot Z1人形机器人，结合IsaacGym大规模并行仿真环境进行策略训练与验证。
人形机器人全身遥操作演示：操作者经VR头显与体感追踪(图示骨架)实时驱动 MagicBot Z1:双臂任务空间跟随、灵巧手连续抓取、头/腰随视线转动,下肢采用混合运动控制实现移动与操作解耦,兼作接触密集型示教数据的采集入口。
围绕人形机器人高动态运动控制开展研究，重点关注跳跃、落地稳定与复杂接触过程中的运动规划和强化学习控制方法。致力于提升机器人在动态场景下的稳定性、协调性与自主运动能力。
多模态大模型
人机对话导航（Human-Machine Conversation）是指让机器理解和运用自然语言实现人机通信的技术。用户可以通过聊天机器人查询信息、获取特定知识库等。人机对话可以分为面向任务的对话和开放域对话两种类型。本项目拟在战场场景下构建一个基于知识库的对话系统。以往的面向任务的对话系统常通过构建静态知识库来获取特定的知识，然而在一些场景下，外部世界通常包含动态知识和时空状态，因此以前这些不包含时空状态和动态知识的方法限制了对话系统与人类的相似性。
在本项目中，我们将知识库信息作为对话系统连接世界的一种方式。系统根据对话上下文和时空状态生成一个查询，通过查询来获取知识库信息，这些知识库信息作为一个额外的知识使对话系统做出更专业自然的回答。