基于混合注意力机制的多模态时序数据错误发现算法

作     者：易倩茹 

作者单位：哈尔滨工业大学 

学位级别：硕士

导师姓名：程思瑶

授予年度：2020年

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 081104[工学-模式识别与智能系统] 08[工学] 0835[工学-软件工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主      题：多模态 时间序列数据 特征提取 特征融合 错误发现 

摘      要：近年来物联网的发展加速了互联网接入设备数量的提升,这些接入设备每天都会产生大量的多模态时序数据。相对于单模态数据,多模态数据能够描述更加丰富的场景,因此不同模态数据之间存在大量隐藏的关系有待挖掘。错误发现是数据质量控制过程中重要的一环,在数据采集、传输、处理过程中,出于设备原因、系统原因、外部环境原因、人为原因等可能会使数据产生错误。而对于多模态时序数据,当某个模态的数据出现错误时,我们不仅可以通过该模态错误数据出现时间前后的数据进行判断,还可以通过其他模态同一时刻的数据进行判断。因此研究多模态时序数据错误发现算法,可以对多模态时序数据的质量进行检测,评估数据中是否存在错误。本文的研究内容包括多模态时序数据集构建、预处理及初步特征提取研究,基于深度学习的多模态时序数据融合算法,多模态时序数据错误发现模型三个部分。首先,本文提出了多模态时序数据错误添加算法,可以对指定模态指定比例的数据添加指定种类的错误。本文实现了模态间的数据对齐,并提取了不同模态数据的初步特征。其次,本文提出了基于BiLSTM的特征提取方法,进而提出基于混合注意力的多模态特征融合方法,首先对各模态数据的Bi LSTM网络多输出进行融合,再对各模态间的深、浅层特征进行融合。并探讨了基于混合注意力的多模态特征融合方法和现有的Tensor-Fusion,Cascade-Fusion方法的优劣。最后,本文提出了基于混合注意力的多模态时序数据错误发现模型,并通过和现有方法的对比详细分析了模型各模块性能的优劣。实验中使用了4个不同的数据集,实验表明,本文提出的基于混合注意力的多模态时序数据错误发现模型在各方面性能都高于其他对比模型。