基于最小相关系数的波长选择方法与应用研究

作     者：程介虹 

作者单位：黑龙江八一农垦大学 

学位级别：硕士

导师姓名：陈争光

授予年度：2021年

学科分类：081704[工学-应用化学] 07[理学] 08[工学] 0817[工学-化学工程与技术] 070302[理学-分析化学] 0703[理学-化学] 

主      题：波长选择 近红外光谱 多元校正 最小相关系数法 

摘      要：近红外光谱定量分析技术作为一种高效的测量分析技术,在农业中被广泛应用。但近红外光谱数据是一种高维数据,其维度一般在几百维到上千维,若直接建模,会因为高维数据存在的多重共线性问题严重影响模型精度。因此,近年来特征波长选择算法便成为近红外光谱分析中的研究热点。本研究以解决高维近红外光谱数据各波长变量间的共线性为目标,提出一种新型的波长选择算法。在分析了三种常用波长选择算法,包括连续投影算法(successive projections algorithm,SPA)、相关系数法(correlation coefficients,CC)、竞争自适应重加权采样法(competitive adaptive reweighted sampling,CARS)的优势和不足之后,发现SPA可以消除变量间的共线性,但是SPA只考虑向量间的投影,而投影距离大的变量并不一定是有效变量;CC考虑的是自变量与因变量间的相关性问题,但未考虑自变量间的共线性问题;CARS算法的不足之处在于稳定性较差,运行过程中通过蒙特卡洛采样对样本进行随机抽取,具有随机性。针对上述算法的优势及不足之处,提出一种以自变量之间以及自变量与因变量之间的相关性为选择标准的近红外光谱波长选择方法,称之为最小相关系数法(Minimal Correlation Coefficient,MCC)。该方法从光谱数据的相关系数矩阵出发,挑选出相关系数矩阵中平均值和标准差均较小的列向量对应的波长组成候选建模波长集合,使得集合内的波长之间线性相关性最小,最大限度地消除模型变量之间的共线性。同时考虑自变量对因变量影响的最大化,通过标准回归系数优选对因变量影响较大的波长,之后利用向前选择法建立线性回归模型,通过模型的均方根误差获得最优预测模型,最优模型下对应的波长即为特征波长。为了验证所提算法的有效性,基于两组公开的高维的近红外光谱数据集(土壤数据集、柴油数据集)进行MCC波长选择后建立多元线性回归(multiple linear regression,MLR)模型,并与全谱的偏最小二乘回归模型(full spectrum partial least squares regression,FULL-PLSR)及三种常用波长选择算法的回归模型(SPA-MLR、CARS-PLSR、CC-MLR)的建模结果进行比较。结果表明,两类数据集下MCC波长选择算法均表现了良好的预测性能。基于土壤数据集的预测结果中,MCC-MLR模型的预测集决定系数(Rp)为0.9265,预测集均方根误差(RMSEP)为1.0323;而其余三种波长选择算法中预测效果最优的为CARS算法,CARS-PLSR模型的Rp为0.9088,RMSEP为1.3682。基于柴油数据集的预测结果中,MCC-MLR模型的Rp为0.9560,RMSEP为2.7792;而其余三种波长选择算法中预测效果最优的为SPA算法,SPA-MLR模型的Rp为0.9539,RMSEP为2.8449。结论表明本研究所提出的最小相关系数法MCC可以实现高效降维,提高模型的预测性能,是一种有效的波长选择算法。为了方便用户使用最小相关系数法,本研究通过MATLAB开发基于最小相关系数波长选择的近红外光谱建模方法软件系统,可实现数据导入、光谱数据预处理、样本集划分、波长选择及建立多元线性回归模型等功能,为用户提供一个简明快捷的人机交互窗口,实现样本理化性质的快速准确测定。