-
认知学习
传统机器学习/深度学习仅是针对单一固定任务训练模型,当任务、数据、外部环境等发生变化时,模型便无法使用,简单地说,这些模型就像锤子、钳子等工具,一旦设计完成,它的功能与使用场景就固定了,若要将它用于新的任务,只能熔掉重铸成新的工具。我们期望的人工智能模型,应该像人的大脑一样,通过不断学习新知识,认知与智力不断成长,能适应新的任务,同时可以对抗任务、数据及环境干扰,这正是认知学习所追求的目标。在构建的认知学习理论框架中,融合了在线学习、增量学习、终身学习、样本增/缩维、环境适应等诸多符合人类认知机理的学习机制,这将是新一代人工智能的前进方向。
人-机器人交互技术
人机交互系统构筑了人与机器人交流的桥梁,理想的人机交互系统不会限制人的行为,能保证“人与机器人交流”像“人与人交流”一样,在人的自然行为/意识下顺畅进行,其中的核心环节是“机器人自主地理解人的行为意图”,开展了“基于机器视觉的人体运动估计”与“基于脑/肌电的人体行为意图识别”两方面研究。
视觉也是机器人感知人体运动信息的重要手段。从捕获的(深度)视觉数据中,提取人体关节点、光流、交互物特征等数据,综合利用图像处理、深度学习等算法,构建估计人体运动的网络,针对复杂背景、遮挡、多人、人-物交互等情形,研究提升网络估计精度与稳定性的方法,实现动作分类、运动重建、行为语义理解等,应用于智能监控、人机交互、行为辅助等。
脑电(EEG)和肌电(EMG)两种生理电信号与人体的行为意图密切相关。对采集EEG/EMG预处理后,提取时/频域特征,利用降维、分类等算法,构建识别动作类别的模型,在线识别结果可以用于实现假肢、康复机器人等系统的实时控制。本研究重点关注存在未知动作、数据丢失、脑/肌肉疲劳、电极偏移等干扰下,如何实现动作稳定识别;同时考虑关节角度/角速度、关节刚度/阻抗等柔顺运动参数实时估计。
智慧家居养老辅助机器人
目前我国65岁以上老年人口已达2.5亿,而随着社会老龄日益加剧,10到20年我国老年人口数量将占总人口的1/3,养老将成为社会最突出的问题,养老产业也将成为社会最大产业之一,预期数万亿的规模。未来数量众多的老年人在家中不依靠年轻人独立生活,有望成为主流的养老形态,智慧家居产品与机器人技术结合,将为老年人的安全、健康、自主生活提供基本保障。将研究用于居家智慧养老的人形机器人技术,集成行为识别技术、基于AI大模型的技能学习技术、仿生交互技术构筑人形机器人系统,可以监测老人安全,辅助老人完成各种日常生活作业。项目组研究的人形机器人成果在《新闻联播》中报道(时长50秒)。
-
ExRI实验室承担多项国家及省部级项目,并参与国家重点研发、国家自然科学基金重点项目等课题研究。
国家自然科学基金面上项目(62373086),融合本体感应能力的肌电假肢功能提升机理研究,2024/01-2027/12,在研,主持
广东省基础与应用基础研究基金,粤佛联合基金-地区培育项目(2023A1515140014),面向协调运动和感知同步康复的手部康复机器人关键技术,2023.11/2026.10, 在研,主持
中央高校基本科研业务专项资金项目(N2426001),2023GFYD15,2024/01-2025/12,在研,主持
国家自然科学基金面上项目(61973065),面向患者意图理解与辅助技能学习的康复机器人人机交互协同方法研究,2020/01-2023/12,结题,主持
中央高校基本科研业务专项资金项目(N2226002),融合本体感应能力的肌电假手功能提升机理研究,2021/01-2023/12,结题,主持
辽宁省自然基金重点科技创新基地联合开放基金项目(2020-KF-12-02),基于场景理解与意图感知的康复机器人辅助技能学习方法研究,2021/01-2022/12,结题,主持
中央高校基本科研业务专项资金交叉融合与协同发展项目(N182608004),基于现实场景理解与智力发育的人-机器人协作关键技术研究,2019/01-2021/12,结题,主持
国家自然科学基金青年基金项目(61503374),基于脑肌电同源性模型的运动意图定向复现方法研究,2016/01-2018/12,结题,主持
辽宁省博士启动基金项目(201501032),基于脑肌电同源信息融合的多关节联合运动估计方法研究,2016/01-2017/12,结题,主持
中科院与山东科学院青年科学家合作项目,基于肌电交互的可穿戴助力外骨骼机器人技术,2015/10-2017/09,结题,主持
机器人学国家重点实验室自主课题(2015-z06),具有本体感应能力的智能假肢技术,2015/01-2016/12,结题,主持
国家自然科学基金联合基金项目(U1813214),面向康复的外肌肉式运动辅助机器人关键技术研究,2019/01-2022/12,结题,参与
国家自然科学基金面上项目(61973063),面向建筑灾难危势建模与协同救援的多智能体紧致化组网方法研究,2020/01-2023/12,结题,参与
国家自然科学基金面上项目(61573340),面向手部康复的运动神经解码方法及运动辅助机器人研究,2016/01-2019/12,结题,参与
国家863项目(2015AA042301),脑肌多源信息运动融合感知与交互控制技术及康复机器人应用验证,2015/03-2018/03,结题,参与
国家自然科学基金面上项目(61273355),基于生物信息感知的双侧镜像康复机器人控制方法研究,2009/01-2012/12,结题,参与
-
ExRI实验室在人工智能算法、人机自然交互、智能机器人控制等方面开展了大量研究工作,提出一系列创新方法,发表大量高水平学术论文;研发了肌电假手、仿人机器人、康复机器人等多套系统平台,申请多项发明专利。
人形机器人关键技术:开发仿人机器人系统,研究多模态自然人-机器人交互技术,相关成果受到《新闻联播》报道(2023年11月21日,时长50秒),显示课题组在人形机器人领域取得成就。
基于脑/肌电的人机交互技术:提出一系列基于脑肌电的人体运动意图识别方法,自主开发了多通道脑/肌电采集硬件系统,脑/肌电采集、处理、分析的软件系统,并构建肌电假手/假肢、肌电鼠标等自然交互系统。
康复/仿生机器人系统研发:面向以患者为中心的康复需求,融合模块化柔性关节、柔顺控制及人体意图识别方法,研发了上/下肢康复机器人、镜像康复机器人等系统;研发了全身型仿人机器人与多指灵巧手等系统,用于验证提出的柔顺控制、意图识别、人机自然交互等方法/技术。
基于视觉的人体运动识别:构建基于单目/多目/深度相机的运动捕获系统,利用提出/改进的深度学习网络,实现对人体运动的实时估计,用于搭建智能监控、行为辅助等系统。
基于视觉的工业检测系统:构建了基于单目/深度相机工业检测系统,利用提出/改进图像处理、深度学习等方法,实现目标/缺陷检测、三维重建、运动规划等应用。
-
实验室环境
ExRI实验室包括60平方米的学生办公室和30平方米的独立实验空间,另外学院拥有700平方米的公共实验室,可供科研活动直接使用。实验室配套空调、暖气、开水间等设施,科研环境优越。
实验设备
ExRI实验室拥有一流的科研条件,已自主开发或购置了数十套先进科研仪器设备,包括脑/肌电采集系统、激光点阵相机、深度相机、ABB双臂协作机器人、云计算及深度学习服务器等,这些设备有力支撑了实验室项目研究的顺利开展。
各类视觉、生理电信号传感器
行为辅助机器人系统
协作型机械臂
数据中心及深度学习服务器