关于正则化不定核逻辑回归及其在碑文识别中的应用研究

作     者：姚韩静 

作者单位：曲阜师范大学 

学位级别：硕士

导师姓名：王少新

授予年度：2024年

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 081104[工学-模式识别与智能系统] 08[工学] 080203[工学-机械设计及理论] 0835[工学-软件工程] 0802[工学-机械工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主      题：L1范数惩罚 不定核 核逻辑回归 近端线性化算法 DC函数 

摘      要：图像数据是现代数据科学中的一类重要数据,包含了丰富的信息和价值,然而,由于图像数据会受到拍摄条件、光照变化、遮挡、背景复杂度等因素的影响,处理时会面临很大的挑战.此外,使用深度学习模型进行图像识别时,需要大量的计算资源进行训练和推理,这在资源受限的设备上尤为突出.近年来,核逻辑回归在图像识别领域的应用逐渐增多.它是逻辑回归在特征空间通过核函数进行非线性映射后的扩展,有较好的泛化性和对小样本数据的适应性,以及相比深度学习模型较低的计算资源需求.传统核逻辑回归中核函数一般选择正定核,但是正定核在某些情况下可能无法有效地捕捉非线性数据的复杂结构. 相比于正定核,不定核往往可以更好捕获特定的领域(Domain)和结构信息.因此,不定核逻辑回归在各个领域都受到了广泛的关注.然而,不定核逻辑回归存在一些局限性:特征选择的结果不够稀疏,并且容易受到噪声的影响.针对以上问题,本文对正则化不定核逻辑回归展开研究,提出了L1正则化不定核逻辑回归模型(L1-norm RIKLR),并将其应用到碑文图像识别任务中. 本文主要围绕不定核逻辑回归的局限性展开研究,通过结合L1惩罚来推广不定核逻辑回归模型,使其产生的解更加稀疏,并且减少噪声对模型的影响.考虑到L1范数的非光滑性使得现有的不定核逻辑回归模型的优化算法不再适用,本文在将非凸非光滑优化问题的目标函数表示为凸差函数后,设计了一种理论基础上易于应用的近端线性化算法来进行优化求解,并且给出了该算法的收敛性分析.为了说明该模型的优越性,在各种数据集上进行了实验,并将其与其他相关的核逻辑回归模型进行了比较.大量的实验结果表明,当不定核获得更重要的信息时,本文提出的L1-norm RIKLR在大多数数据集上的表现都优于所有其他方法,在解决了稀疏性和噪声问题的同时,还提高了算法的分类准确率.最后,利用该模型来处理碑文识别问题,实验表明该模型可以很好的完成碑文图像的识别任务,这从实证研究的角度证明了该模型的有效性和实际应用价值.