Regformer:基于稀疏注意力的输油管道水力压降预测方法

作     者：李亚平 王军防 余红梅 窦一民 肖媛 田继林 LI Ya-ping;WANG Jun-fang;YU Hong-mei;DOU Yi-min;XIAO Yuan;TIAN Ji-lin

作者机构：国家管网集团东部原油储运有限公司江苏徐州221008 中国石油大学(华东)计算机科学与技术学院山东青岛266580 

出 版 物：《计算机与现代化》 (Computer and Modernization)

年 卷 期：2024年第1期

页      面：59-66页

学科分类：081203[工学-计算机应用技术] 08[工学] 0835[工学-软件工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家自然科学基金重大项目(51991365) 山东省自然科学基金资助项目(ZR2021MF082) 

主　　题：水力预测 Transformer Regformer 自注意力机制 

摘      要：输油管道水力压降预测对于输油管道的生产调控十分重要,目前机器学习方法将压降预测看作回归问题,然而管道水力计算受多种因素影响,传统的机器学习方法由训练集得到的固定权重难以泛化到更多的测试样例或真实的工程场景中。本文提出一种水力压降回归预测方法Regformer,该方法将稀疏注意力机制引入回归任务,在多头注意力的基础上设计一种平滑概率方法,并融入特征投影机制。在10个公共数据集上对7种主流方法进行对比实验分析,定性实验显示Regformer对于局部的突变有很好的拟合能力;水力压降预测实验表明自注意力方法对于多变量不确定性的回归任务具有显著的优势,尤其是对极端情况的处理体现了自适应回归参数的重要性,并且Regformer用了更少的计算量取得了比Transformer更好的性能,验证了本文提出的稀疏注意力和自适应特征投影在水力压降预测任务中的优越性。