噪声驱动的复值神经网络学习算法研究

作     者：任磊 

作者单位：大连海事大学 

学位级别：硕士

导师姓名：张颖

授予年度：2023年

学科分类：08[工学] 081104[工学-模式识别与智能系统] 0811[工学-控制科学与工程] 

主      题：复值神经网络 复值误差反向传播算法 复值期望最大化算法 复值噪声期望最大化算法 噪声分离超平面 

摘      要：复值神经网络是传统实值神经网络在复数域上的推广和发展。由于复值神经网络具有比传统实值神经网络更强的映射能力以及处理复值数据的天然优势,因此在信号处理、数据挖掘、模式识别、生物医学信息处理、自动控制等多个工程领域具有广阔的应用前景。在信号采集以及传输过程中,不可避免的受到外部环境中随机噪声的干扰。为了提高网络的泛化能力和训练速度,研究人员还常常在神经网络的训练过程中主动添加噪声。然而,对复值噪声环境下复值神经网络学习算法的研究还不够深入,缺乏对破坏性噪声和有益噪声的合理判据。本文对噪声驱动的复梯度学习算法开展研究,尝试在复值期望最大化算法框架内,从最大似然估计的角度,研究噪声对复梯度学习算法的影响。本文的主要工作体现在以下几个方面:(1)在理论上证明了复值反向传播算法与复值期望最大化算法的等价性;(2)对复值噪声期望最大化算法进行分析,从代数角度建立了在复值噪声期望最大化算法中有益噪声和有害噪声的判据;(3)根据复值误差反向传播算法与复值期望最大化算法的等价性关系,从提高训练速度的角度建立了在噪声驱动的复梯度学习算法中破坏性噪声和有益噪声的判据。该判据在几何上表现为两个分离超平面,依据噪声的分布位置即可对噪声属性作出判断。最后,在MNIST和Fashion MNIST两个经典数据集上进行数值模拟,实验结果验证了理论分析的正确性。