数字孪生系统的边云协同技术
针对工业过程中在线预报问题，研究基于边云协同的数字孪生模型训练与推理算法。数字孪生在工业中的一个主要应用是实现运行指标预报，而工业过程中预报模型需要迅速响应数据的动态变化的问题，即需要不断地更新数字孪生模型。考虑到数字孪生一般部署在云端，以利用大量历史数据，但是最新的实时数据通常并不完全上传到云端。为此，我们提出数字孪生模型的边云协同训练和推理方法。该方法创新性地设计了一种同步机制，以便交替更新两侧的模型，结合云的大规模数据处理能力和边缘的动态数据处理能力，实现模型训练与推理的高效处理。所提的方法在山西华兴氧化铝厂碱液蒸发车间降膜蒸发器进行了全面测试，能够显著提高模型的训练及推理速度，在线预报精度相较于其他预测模型有明显提升。
[1] Shaowen Lu, Yajun Zhang, and Jinfeng Wu. Online prediction of industrial process index: An edge-cloud collaborated approach. IEEE Transactions on Industrial Electronics, 71(9):11419–11428, 2024, doi: 10.1109/TIE.2023.3335470.
[2] Guifeng Ye and Shaowen Lu*, "A Prefetching Multiple Proposals Markov Chain Monte Carlo Algorithm," IEEE Transactions on Artificial Intelligence, 5(9):4493–4505, 2024, doi: 10.1109/TAI.2024.3385384.
[3] 谌卓玲，卢绍文*，张亚军，潘庆玉. 工业过程指标的平滑交替辨识预报算法. 控制理论与应用, 41(9):1539–1547, September 2024.
边云协同信号流图
边云协同系统结构
电熔镁炉工况感知技术
我国电熔镁砂的制备工艺多采用电熔镁炉，即利用三相石墨电极的电弧放热将原矿粉加热至2800℃以上进行熔炼，再将熔炼得到的氧化镁进行降温结晶、去除杂质后得到高品质的电熔镁砂。电熔镁炉生产过程分为启炉、加料、正常熔炼、欠烧等工况。其中，欠烧工况是一种异常工况，它的出现通常由于原料中存在杂质及复杂的矿物，导致原材料未完全熔融，产生的气体无法从粘稠的原料中排出，进而致使炉内局部温度过高。如果该异常工况未能被及时发现并处理，不仅会大大降低产品的质量，还会造成炉壁烧漏、熔融状原料泄漏等重大生产事故，对现场工作人员的安全造成威胁。因此，及时判断欠烧对电熔镁砂的制备非常重要。实际生产中，电熔镁炉的欠烧主要依靠巡检工人定期检查炉壁及火焰状态来判断。但是该方法依赖操作人员的经验和状态，极易发生异常工况的误判和漏判；同时生产现场环境复杂且恶劣，危害着操作人员的健康和安全。
图中所示为某电熔镁炉企业生产过程中，巡检操作员密切注视是否有异常工况发生。
针对这一问题，课题组依托国家自然科学基金重大项目“重大耗能设备智能系统基础理论与关键技术”（61991400），研发了一系列基于视频的电熔镁炉工况识别与可视化技术，能够帮助操作员快速且准确地识别异常工况，有利于提高产品的质量，还能够将工人从危险、高强度的工作中解放出来。
1. 双特征半监督工况识别技术
课题组提出一种将电流与图像特征融合起来的电熔镁炉异常工况识别方法。目标是在基于图像的工况分类器基础上引入电流数据的特征，提高视频工况识别的精度，特别是对仅靠视频难分的样本（如过渡态）的识别精度。考虑到现场获得电流数据一般是无标记的（只能间接通过图像进行标记），而图像数据部分含有工况标记的情况，提出一种半监督学习框架下的特征融合技术。该成果主要贡献在于，根据扩展特征数据的构造原则，提出基于熵正则化的半监督学习的特征融合方法，并且给出了基于交叉熵方法的高效训练方法。
2. 红外+视频的电熔镁炉工况识别技术
手持温度场重建装置。电熔镁炉体的温度场信息对于工况识别具有重要作用。为此，我们设计并研制了手持式实时3D温度场重建原型装置（与方正教授合作）。采用基于深度摄像头的SLAM建模方法和Kintinuous算法设计了适用于工厂级环境的实时建模算法，并利用红外信息对三维重建算法进行增强，开发了算法软件接口与人机交互界面软件，利用三维打印技术制作了系统外壳，对传感器进行标定。
基于深度卷积网与对抗生成网络的工况识别技术。提出了一种基于深度卷积网络的可见光RGB图像+红外热像的电熔镁炉欠烧工况识别技术，并基于此开发了原型系统。该技术采用工业相机和红外热像仪获取电熔镁生产现场过程图像，利用深度学习技术并结合现场工人经验建立对欠烧工况视频图像的检测和识别模型，通过实时的图像分析，实现对欠烧工况的在线识别。在深度学习的模型训练中，比较关键的因素是训练样本的完整性，如果不同分类的样本不均匀，会导致训练模型不准确，影响整个系统的工况感知效果。而电熔镁炉的欠烧工况是一种异常工况，发生的频率较低，并不具备大量的样本用于分类器的训练。针对这一问题，我们采用深度卷积对抗网络 (DCGAN) 深度学习框架来建立欠烧工况的生成模型，用于合成欠烧工况的样本图像，提高训练样本的完整性和平衡性。
主要成果
[1] S. Lu and Y. Wen, “Semi-supervised condition monitoring and visualization of fused magnesium furnace,” IEEE Transactions on Automation Science and Engineering, pp. 1–12, 2021. (Early access)
[2] S. Lu and H. Gao, “Deep learning based fusion of rgb and infrared images for the detection of abnormal condition of fused magnesium furnace,” in 2019 IEEE 15th International Conference on Control and Automation (ICCA), July 2019, pp. 987–993.
[3] 卢绍文, 温乙鑫, “基于图像与电流特征的电熔镁炉欠烧工况半监督分类方法,” 自动化学报, vol. 47, pp. 891–902, 2021.
[4] 卢绍文, 王克栋, 吴志伟, 李鹏琦, 郭章, “基于深度卷积网络的电熔镁炉欠烧工况在线识别,” 控制与决策, vol. 34, no. 7, pp. 1537–1544, 2019.
[5] 郭章, 王克栋, 程盟盟, 刘晓丽, 卢绍文, “基于图像电熔镁炉欠烧工况的判别系统,” 控制工程, vol. 27, pp. 219–225, 2020.
[6] 方正，卢绍文，王克栋. 基于红外热像仪与深度相机的便携式三维温度场重建系统: 中国国家发明专利, CN201710218682.7[P]. 2017-04-05. (2019-09-06 授权)
基于增强现实的工业生产过程监控技术
目前常用的工业生产过程监控侧重对数据的监控，主要采用趋势图、表格等可视化手段，帮助操作员实时地掌握生产过程状态。对于难以数字化的状态，一般直接引入视频图像。但是，一些实际生产过程可能难以直接获得视频，比如温度场，或者受到噪声或粉尘影响难以获得清晰稳定的视频，如电熔镁炉的燃烧状态。针对这一类实际问题，课题组研发了基于增强现实的生产过程监控技术。增强现实（Augmented Reality）是一种虚拟现实技术（Virtual Reality），它把难以直接观察的状态或者对象通过虚拟现实技术叠加到实际对象上，实现“看所不能看”。增强现实在工业生产过程监控中的应用设计一系列技术的组合，我们目前研发的关键技术包括：
1. 多元时间序列的自动分割/分段技术
多元时间序列的自动分段，就是寻找时序数据的转折点或者内在结构发生变化的点，将序列数据分割为若干个内部同构的子序列，以便于用一个更简单的模型来精确表示。这项技术可以用于流媒体的自动分割、工业时间序列的切换点发现、故障诊断等场景。我们这里用到的核心思想是利用交叉相关性建立序列的动态可预测性指标，反映所有子序列的内部同构性，分段问题可以形式化为一个优化问题，决策变量是子序列的端点然后寻找序列中预测性失效的位置作为分段点。
2. 火焰动态纹理的模式识别与生成技术
工业过程可视化的难点之一是对于火焰、烟雾、水流等没有固定形态对象的可视化建模。我们研究了动态纹理技术，提出动态地从图像中提取纹理特征、重建火焰纹理且保持火焰动态模式的技术。该技术用于电熔镁炉火焰的动态可视化重建和模式识别，获得2020年第31届中国过程控制会议最佳学生论文提名奖。
3. 视频驱动的三维增强现实动态渲染技术
我们提出基于动态纹理提取、在线重建与动态渲染的技术解决方案，研制了一套基于增强现实的工业过程监控系统原型，用于电熔镁炉工况的模式识别与可视化监控。
主要成果
[1] S. Lu and S. Huang, “Segmentation of multivariate industrial time series data based on dynamic latent variable predictability,” IEEE Access, vol. 8, pp. 112092–112103, 2020.
[2] S. Lu, “Segmentation improved label propagation for semi-supervised anomaly detection in fused magnesia furnace process,” IEEE Access, vol. 8, pp. 219214–219222, 2020.
[3] 蒋鹏, 卢绍文, 李明杰, 赵楷文, “基于图像随机分布模型的电熔镁炉工况识别,” 控制与决策, vol. 36, no. 11, p. 8, 2021.
[4] 蒋鹏, 卢绍文, 李明杰, 赵楷文, “基于图像随机分布模型的电熔镁炉工况识别,” 第31届中国过程控制会议, 中国徐州, 7.30-8.1 2020. （最佳学生论文提名奖）
[5] 程盟盟, 李鹏琦, 卢绍文, 柴天佑, “实时图像驱动的电熔镁炉虚拟可视化监控系统,” 控制工程, vol. 25, no. 10, pp. 1946–1952, 2018.
[6] 卢绍文, 李鹏琦, 郑秀萍, 郭章, “动态火焰图像分割及在电熔镁炉视频监控中的应用,” 东北大学学报(自然科学版), vol. 40, no. 02, pp. 4–8+14, 2019.
[7] 赵磊, 卢绍文, 郑秀萍, “基于火焰动态纹理的电熔镁炉工况识别,” 控制理论与应用, vol. 36, no. 9, pp. 1565–1572, 2019.
[8] 刘晓丽, 卢绍文, “多媒体流数据的无监督分段算法,” 控制工程, vol. 27, pp. 1513–1518, 2020.
[9] 卢绍文, 黄树雨, 吴永健, 贾瑶. 一种多元工业时间序列数据的分段方法: 中国发明专利, CN201910558042.X[P]. 2019-06-26. (审查中)
工业过程的多尺度仿真技术
工业过程装置大型化的趋势导致过去采用的集总参数仿真技术难以用于实际。为此，我们研究了“宏观－介观－微观”一体化的多尺度蒙特卡洛动力学仿真方法，创新性地提出基于分布式参数的多尺度模拟的加速方法和误差控制技术，并应用于针对磨矿破碎过程粒度的预报。研究成果发表在 2019年的IEEE International Conference on Industrial Informatics (INDIN＇19) 会议，获得最佳论文奖。
主要成果
[1] Shaowen Lu, Shuyu Huang. Mesoscale Particle Size Predictive Model for Operational Optimal Control of Bauxite Ore Grinding Process. In Proceedings of the IEEE International Conference on Industrial Informatics (INDIN’19), Helsinki-Espoo, Finland, 22-25 July 2019. (最佳论文奖)
[2] S. Lu and T. Chai. Mesoscale Particle Size Predictive Model for Operational Optimal Control of Bauxite Ore Grinding Process. IEEE Transactions on Industrial Informatics, 16(12):7714–7721, Dec 2020.
[3] Shaowen Lu, 2016, Acceleration of Kinetic Monte Carlo Simulation of Particle Breakage Process during Grinding with Controlled Accuracy, Powder Technology, 301(2016), pp.186-196.
[4] 卢绍文，蔚润琴，崔玉洁. 磨矿破碎过程粒度分布的分布式参数蒙特卡洛动力学模拟及加速方法. 自动化学报, 45(9):1655–1665, 2019.
[5] 卢绍文，余策，2014. 磨矿粒度动态过程的一种快速Monte Carlo仿真方法. 自动化学报, 40(9), pp.1903-1911.
[6] 中国国家发明专利：卢绍文, 丁进良, 柴天佑, 刘鑫, 快速蒙特卡洛方法预测球磨机磨矿粒度分布的系统及方法, 专利号 CN201410557632.8, 生效日期 2017/6/13
[7] 蔚润琴, 卢绍文, 刘鑫. 加长型球磨机粒度分布的分布参数模拟系统: 中国, CN201810992083.5[P]. 2018-08-29.
工业生产过程仿真及虚拟现实系统
红土镍矿高压酸浸过程操作员培训仿真系统。瑞木镍钴管理（中冶）有限公司委托项目。在巴布亚新几内亚的中冶瑞木巴萨穆克冶炼厂投用，支持开车、停车、正常操作、故障处理等过程的培训。
氧化铝生产过程虚拟沙盘系统。中铝集团山西华兴氧化铝厂、沈阳铝镁设计院联合开发项目，用于新规划项目的工艺展示。
全流程一体化控制半实物仿真系统。依托973项目“具有安全性、协同性、易用性的一体化控制系统的若干技术基础与半实物仿真实验平台的研究”，在2013年经过由7位院士和2位美国权威专家组成的鉴定委员会成果鉴定，评价为“国际首创”和“处于国际领先水平”。
铁水调度仿真系统。与山东冶金设计院合作开发了铁钢零界面工艺仿真系统，系统地比较了鱼雷罐及机车、台车、汽车一罐到底等铁水运输方式，以某项目新建2 座5100立方米高炉和4 座210吨转炉为研究对象，基于仿真对技术方案进行模拟验证，对铁水运输流程进行了优化和再造，简化了工艺流程，缩短了铁水运输距离。