对于以transformer decoder为基础架构的大模型来说，预训练任务是“根据输入的上文来预测下一个词”，该任务本质是一个分类任务，分类的类别数是词表中词的数量，通常是一个几万类分类任务。模型前向/反向传播一次只利用句子中的一个字计算loss。如果某个句子长度是n，那么需要对这个句子前向/反向传播n次，显然这种训练模式从计算量上来考虑是无法接受的。研究组承担国家万人计划青年拔尖人才资助项目、国家自然科学基金重点项目、华为中央研究院技术合作项目等项目。具体研究方向包括：大模型推理加速、大模型的图检索增强生成、基于新硬件的大模型加速、图模型的训练加速等。在SIGMOD、VLDB、ICDE等CCF A类会议上发表论文30余篇。与华为、阿里巴巴等企业合作解决实际问题，攻关大模型推理加速的关键核心技术。

承担项目：

“支撑大规模图神经网络模型的分布式训练系统”，国家级青年人才计划特殊支持项目，项目负责人，2022.11-2025.10

“面向图学习的分布式原生图存储和计算方法研究”，国家自然科学基金重点项目，子课题负责人，2023.1-2026.12

“统一图计算框架”，华为中央研究院技术合作项目，项目负责人，2021.7-2022.7