检索结果-南通市图书馆

基于特征区域下凸点提取的藻类荧光光谱波长选择方法

在线全文

学校读者我要写书评

暂无评论

光谱学与光谱分析 2022年第10期42卷 3031-3038页

作者：张永彬朱丹丹陈颖刘喆段玮靓李少华燕山大学电气工程学院河北省测试计量技术及仪器重点实验室河北秦皇岛066004 河北先河环保科技股份有限公司河北石家庄050000

藻华现象的频繁发生严重影响了海洋环境和人类的生产活动,因此对水体浮游植物的监测十分重要。三维荧光光谱被广泛应用于水体浮游植物中藻类的群落组成分析和浓度定量分析,然而三维荧光光谱数据中的信息冗余给藻类定性定量分析带来了一... 详细信息

藻华现象的频繁发生严重影响了海洋环境和人类的生产活动,因此对水体浮游植物的监测十分重要。三维荧光光谱被广泛应用于水体浮游植物中藻类的群落组成分析和浓度定量分析,然而三维荧光光谱数据中的信息冗余给藻类定性定量分析带来了一定的影响。针对光谱信息冗余问题,提出了特征区域积分与凸点提取相结合的三维荧光光谱波长选择方法。以抑食金球藻、细长聚球藻、小球藻为研究对象,采用Savitzky-Golay卷积平滑法对三维荧光光谱进行预处理,解决了因外界因素造成的光谱噪声问题,采用马氏距离法剔除三维荧光光谱数据集中的异常光谱样本,运用浓度残差法剔除三维荧光光谱数据集中的异常浓度值样本,然后通过偏最小二乘回归模型的内部交叉验证均方根误差衡量不同特征区域下凸点的可靠性进行波长变量的选择。为验证波长筛选方法的有效性,对三种藻类建立偏最小二乘回归模型,以内部交叉验证决定系数(R^(2))、内部交叉验证均方根误差(RMSECV)作为模型评价指标。与全光谱数据建立的回归模型进行了比较,抑食金球藻、小球藻、细长聚球藻的波长变量由全谱的1071个分别减少到77个、75个、67个,R^(2)分别提高了0.0164,0.002和0.0324,RMSECV分别降低了1.8×10^(5),2.0×10^(5),2.6×10^(5)。与UVE方法相比,抑食金球藻、小球藻、细长聚球藻的波长变量分别减少了599个、357个、317个,R^(2)分别提高了0.0145,0.0004和0.0123,RMSECV分别降低了1.6×10^(5),7.0×10^(4)和1.6×10^(5)。经过该方法进行波长变量选择后,减少了冗余信息,提高了模型预测能力。

关键词：浮游植物三维荧光光谱特征区域凸点波长选择

在线全文

学校读者我要写书评

暂无评论

最小相关系数的多元校正波长选择算法

光谱学与光谱分析 2022年第3期42卷 719-725页

作者：程介虹陈争光衣淑娟黑龙江八一农垦大学信息与电气工程学院黑龙江大庆163319 黑龙江省水稻生态育秧装置及全程机械化工程技术中心黑龙江大庆163319

在近红外光谱的定量分析中,由于仪器的精密程度越来越高,采集的光谱数据通常具有很高的维度。因此,波长选择对于剔除噪声及冗余变量,简化模型,提高模型的预测性能是必不可少的。近红外光谱特征波长选择方法众多,但变量间的多重共线性问... 详细信息

在近红外光谱的定量分析中,由于仪器的精密程度越来越高,采集的光谱数据通常具有很高的维度。因此,波长选择对于剔除噪声及冗余变量,简化模型,提高模型的预测性能是必不可少的。近红外光谱特征波长选择方法众多,但变量间的多重共线性问题仍是导致模型效果较差的一个关键问题。变量间共线性可以通过相关系数进行分析,当相关系数高于0.8,表明存在多重共线性。据此,以变量间相关系数为选择标准,提出一种以所选变量之间共线性最小化的波长选择方法,称之为最小相关系数法(MCC)。该方法以光谱数据的相关系数矩阵为基础,挑选出与其他波长相关系数平均值和标准差均较小的波长为候选建模波长集合,使得集合内波长之间线性相关性最小,进而消除模型变量之间共线性。然后通过标准回归系数优选对因变量影响较大的波长,获得预测模型。为了验证所提出算法的有效性,对该方法进行了测试。利用两组公开的近红外光谱数据集(柴油数据集、土壤数据集),通过MCC算法进行波长选择,并与常用的几个波长选择方法,如:连续投影算法(SPA)、竞争性自适应重加权采样法(CARS)、随机蛙跳算法(RF)、迭代保留信息变量法(IRIV)进行比较。实验结果表明,MCC算法获得了良好的预测性能,MCC算法的预测精度相比于SPA,CARS和RF三种算法具有明显的优势,而MCC算法的预测精度与IRIV算法不相上下。因此,最小相关系数法可实现高效降维,提高模型的预测精度,是一种有效的波长选择算法。

关键词：波长选择近红外光谱多元校正最小相关系数法

一种结合直接正交信号校正与蒙特卡罗的波长选择方法

在线全文

学校读者我要写书评

暂无评论

光谱学与光谱分析 2022年第2期42卷 440-445页

作者：谢林江洪明坚余志荣重庆大学大数据与软件学院重庆401331

在近红外光谱数据分析中,全光谱数据具有波长点多、冗余量大、共线性关系严重的特点,导致了部分波长点对建立校正模型没有积极作用,甚至还会降低模型的预测能力。波长选择被证明是有效避免上述问题的重要方法。针对近红外光谱的特性,提... 详细信息

在近红外光谱数据分析中,全光谱数据具有波长点多、冗余量大、共线性关系严重的特点,导致了部分波长点对建立校正模型没有积极作用,甚至还会降低模型的预测能力。波长选择被证明是有效避免上述问题的重要方法。针对近红外光谱的特性,提出了一种基于直接正交信号校正(DOSC)与蒙特卡罗方法(Monte Carlo,MC)结合的波长选择算法。与大多数根据波长的“重要性”进行选择的方法不同,MC-DOSC依据波长的“不重要”性进行选择。波长“不重要”性通过DOSC的权重w来度量。首先将w归一化作为波长被滤除的概率,以此建立波长选择的概率模型,并使用蒙特卡罗随机抽样得到N个波长子集的集合。在每一次抽样过程中,用选择的波长点建立PLS模型,计算相应的交叉验证均方根误差(RMSECV)。经过N次随机抽样后,以RMSECV最小时的PLS模型对应的波长子集作为备选子集。将备选子集包含的光谱数据作为新的光谱阵,重复上述过程直到RMSECV不再下降为止。迭代停止后,将RMSECV最小的备选子集作为最佳波长子集。采用玉米数据集和汽油数据集对该算法进行测试,同时与蒙特卡罗无信息变量消除法(MCUVE)、遗传算法(GA)、竞争性自适应权重取样法(CARS)三种算法进行比较。实验结果表明:该算法能大幅度减少波长点个数,并且相应的PLS模型的预测能力也提高了。玉米数据集的实验运行结果,波长点个数从全光谱的700个减少到15个,预测集相关系数从0.8282提高到0.9314,RMSEP从0.1098减少到0.0713。汽油数据集的实验运行结果,波长点个数从全光谱的301个减少到31个,预测集相关系数从0.9875提高到0.9939,RMSEP从0.2555减少到0.1788。该算法在2个数据集中的表现均优于对比的三种算法。

关键词：近红外光谱波长选择正交信号校正蒙特卡罗偏最小二乘

波长选择算法在近红外光谱法中药有效成分测量中的应用

在线全文

学校读者我要写书评

暂无评论

光谱学与光谱分析 2006年第9期26卷 1618-1620页

作者：谷筱玉徐可欣汪曣天津大学精密测试技术及仪器国家重点实验室天津300072

建立基于仪器分析方法的质量标准是中药进入国际市场的必要条件。近红外光谱技术以其能够反映样品的多种信息、易于在线应用的优势,应用于中成药生产的在线质量监控,可以提高中成药的质量控制标准,加快中药现代化的进程。但在近红外光... 详细信息

建立基于仪器分析方法的质量标准是中药进入国际市场的必要条件。近红外光谱技术以其能够反映样品的多种信息、易于在线应用的优势,应用于中成药生产的在线质量监控,可以提高中成药的质量控制标准,加快中药现代化的进程。但在近红外光谱检测中存在着各成分谱图重叠严重,光谱信息冗余,特征吸收区域不明显的问题,需要对采集到的波长进行优选,以达到提高模型预测精度和简化模型的目的。从近红外光谱方法测量中药有效成分的基础研究入手,以冰片含量的检测为例,尝试采用遗传算法与模拟退火算法结合的模拟退火遗传算法及物理意义相对明确的多链逐步选择法对校正模型的波长进行优选。结果表明,波长选择的方法可以使模型采用的波长数减少的同时提高预测精度,波长选择最多可将波长数减少84%,预测精度提高47.6%。

关键词：近红外光谱波长选择模拟退火遗传算法多链逐步选择法

特征波长选择对近红外光谱建模的影响分析及应用

在线全文

学校读者我要写书评

暂无评论

特征波长选择对近红外光谱建模的影响分析及应用

作者：梁小娟陕西科技大学

学位级别：硕士

近红外分析技术是一种快速、无损、高效、可靠的分析方法,已被广泛应用于食品、药品、化工和农业等领域,尤其在中药领域有着重要的应用价值。近红外光谱分析技术能够实现中药材产地、等级的判别以及药物成分的含量检测。但近红外光谱数... 详细信息

近红外分析技术是一种快速、无损、高效、可靠的分析方法,已被广泛应用于食品、药品、化工和农业等领域,尤其在中药领域有着重要的应用价值。近红外光谱分析技术能够实现中药材产地、等级的判别以及药物成分的含量检测。但近红外光谱数据是典型的高维小样本数据,数据的特征维数远大于数据样本数,光谱数据中会不可避免地含有冗余信息和干扰变量,导致所建模型复杂度增大,计算量提高,预测效果降低。因此,筛选出有效的波长变量在近红外光谱分析中至关重要。本文针对近红外光谱数据中存在的冗余信息和干扰变量问题,探究了不同特征波长选择算法对近红外光谱建模的影响,主要内容如下:(1)设计数据采集实验,搭建数据采集平台,利用SupNIR-2700近红外光谱仪对山楂叶和何首乌光谱数据进行采集。(2)针对近红外光谱产地判别模型数据样本量小、维度高、类别不平衡特性,研究了一种基于稀疏主成分分析特征选择(Sparse Principal Compo-nent Analysis for Feature Selection,SPCAFS)与支持向量机(Support Vector Machine,SVM)建模的定性分析方法(SPCAFS-SVM)。该方法对数据进行稀疏表示,利用特征向量的稀疏性来剔除数据中的冗余信息,并采用SVM建立山楂叶近红外产地判别模型,实现了山楂叶南北产地判别。与传统的主成分分析方法不同,SPCAFS通过L1正则化来增强特征向量的稀疏性,并引入约束条件,增强特征向量之间的独立性,从而提升样本之间的区分度。模型以准确率、精确度和灵敏度作为评价标准,并与连续投影(Successive Projections Algorithm,SPA),正则化自表示(Regularized self-representation,RSR)和稀疏子空间聚类(Sparse Subspace Clustering,SSC)3种特征选择算法进行对比,在山楂叶南北产地的判别实验中验证了 SPCAFS的有效性。(3)针对近红外光谱含量检测模型数据样本量小、维度高和局部线性整体非线性特性,研究了一种基于可扩展的自表示学习波段选择算法(Scalable One-Pass Self-Representation Learning,SOP-SRL)与决策树偏最小二乘法(Decision Tree-Partial Least Squares,DT-PLS)建模的定量分析方法(SOP-SRL-DT-PLS)。该方法为每个样本的损失函数分配适当的权重,以强调样本中的差异,同时增加了一个基于图的正则化项,通过测量由所选波段构建的样本之间的局部相似性来提高波段的代表性。为了解决何首乌数据局部线性,整体非线性的问题,使用了 DT-PLS建模算法。选用何首乌二苯乙烯苷和蒽醌类含量为研究对象,通过综合对比分析,选择出合适的预处理方法、样本选择方法和特征选择方法,并分别针对二苯乙烯苷和蒽醌类含量,建立了两种何首乌含量检测模型。结果表明,SOP-SRL-DT-PLS在所用方法中表现最佳。(4)为了检验SPCAFS和SOP-SRL在中药检测中的实际应用能力,分别设计了基于SPCAFS和SOP-SRL的PLS定量分析模型。以安胎丸指标含量阿魏酸、黄芩苷和汉黄芩苷为研究对象,分别通过SPCAFS和SOP-SRL选取代表性特征波段,之后采用PLS建立近红外光谱回归模型,并与CCBS、RSR和SSC3种特征波长选择算法的建模结果进行对比。结果表明,SPCAFS和SOP-SRL可有效提取安胎丸指标含量阿魏酸、黄芩苷和汉黄芩苷的特征波段,并实现阿魏酸、黄芩苷和汉黄芩苷含量的准确检测。

关键词：近红外光谱中药波长选择稀疏主成分分析可扩展的自表示学习

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于神经网络的拉曼光谱波长选择方法

光谱学与光谱分析 2020年第11期40卷 3457-3462页

作者：沈东旭洪明坚董家林重庆大学大数据与软件学院重庆401331

血液鉴别对于检验检疫、刑侦以及动物保护领域具有非常重要的意义,传统的的血液鉴别方法在鉴别的过程中存在分析周期长、对血液样本造成损害等缺点。而拉曼光谱可以通过分析与入射光频率不同的散射光谱得到分子振动、转动方面的信息,进... 详细信息

血液鉴别对于检验检疫、刑侦以及动物保护领域具有非常重要的意义,传统的的血液鉴别方法在鉴别的过程中存在分析周期长、对血液样本造成损害等缺点。而拉曼光谱可以通过分析与入射光频率不同的散射光谱得到分子振动、转动方面的信息,进而得到物质的组成成分,并且具有零污染非接触的特点,为血液的无损鉴别提供了可能,但是在拉曼光谱中,各个波长点之间存在严重的多重共线性,直接使用全光谱进行建模会增加模型的复杂性和降低模型的稳定性。针对拉曼光谱的特点,提出了一种基于神经网络的波长选择方法。该方法利用神经网络学习到各个波长点对校正模型的贡献权重,并将权重的均值作为阈值,去除权重低于阈值的波长点,以达到波长选择的目的。为了更容易确定筛选的阈值,在权重学习的过程中加入了稀疏约束,极大的减少了用于筛选的波长点。利用动物与人血清的拉曼光谱数据集对所提方法进行了验证,实验结果表明,利用该方法得到的光谱建立的校正模型,相比于全光谱数据在分类准确率和AUC值都有一定的提升,人工神经网络(NN)的准确率达到了94.495%, AUC值达到了0.9850,偏最小二乘(PLS-DA)的准确率达到了92.661%, AUC值达到了0.9760。与传统的波长选择方法UVE相比,该方法选择的波长点更少,仅选择了42个波长点用于建模,而且得到的校正模型的分类准确率和AUC值更高,证明该波长选择方法能有效的筛选出对建模有贡献的波长点,提高了模型的分类准确率和稳定性,为血液的无损鉴别提供了可能,具有一定的实用价值。

关键词：光谱分析拉曼光谱波长选择神经网络校正模型

复杂溶液光谱分析中波长选择以及校正集选择方法研究

在线全文

学校读者我要写书评

暂无评论

复杂溶液光谱分析中波长选择以及校正集选择方法研究

作者：宋欣鹏天津大学

学位级别：硕士

复杂溶液是日常生活中非常常见的一种物质形态,复杂溶液成分的检测涉及到生产生活中的方方面面。光谱分析方法是一种常用的复杂溶液成分检测方法。然而由于复杂溶液成分复杂,光谱分析方法的精度难以达到要求。本文通过研究光谱分析中的... 详细信息

复杂溶液是日常生活中非常常见的一种物质形态,复杂溶液成分的检测涉及到生产生活中的方方面面。光谱分析方法是一种常用的复杂溶液成分检测方法。然而由于复杂溶液成分复杂,光谱分析方法的精度难以达到要求。本文通过研究光谱分析中的波长选择方法和校正集选择方法,进一步提高了复杂溶液光谱分析方法的精度:(1)复杂溶液的光谱数据与目标成分浓度之间或多或少的存在非线性关系,为了在波长选择环节将这种非线性关系加以利用,本文提出了一种基于径向基函数(Radial Basis Function,RBF)神经网络的波长选择方法。为了验证该方法的有效性,以离体血样中的白细胞含量作为目标成分进行了建模实验,结果显示,校正集相关系数从0.94提升到了0.98,预测集相关系数从0.75提升到了0.84。上述结果证明,相比传统的线性波长选择方法,在使用基于RBF神经网络的波长选择方法进行波长选择后,样本的建模效果有了明显提升。(2)复杂溶液的透射光谱是由溶液中的多种成分共同影响的结果。在很多情况下,非目标成分对光谱的影响是大于目标成分的,这就会导致光谱中目标成分的信息被淹没,从而影响模型预测精度。为了降低这种影响,本文提出了一种基于欧氏距离的考虑多成分浓度融合的校正集选择方法。为了验证该方法,选择离体血样作为研究对象,并对人体血液中的六种主要成分进行建模分析,实验结果显示,针对这六种成分的建模均得到了更好的建模结果。上述结果证明,相比只考虑浓度较高的成分的校正集选择方法,本文提出的方法可以有效提高预测模型的预测能力和鲁棒性。

关键词：复杂溶液光谱分析非线性波长选择多成分浓度融合校正集选择

融合波长选择和异常光谱检测的天然气燃烧过程定量分析方法

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

光谱学与光谱分析 2012年第10期32卷 2799-2804页

作者：曹晖胡洛娜周延西安交通大学电气工程学院电力设备电气绝缘国家重点实验室陕西西安710049 西安交通大学能源与动力工程学院陕西西安710049

针对天然气燃烧过程的近红外光谱数据,采用了一种融合波长选择和异常光谱检测的定量分析方法。该方法根据偏最小二乘(PLS)模型的系数及预测误差的统计分布,在实现波长选择的同时,完成异常光谱样本的检测。与PLS、先用留一法将异常样本... 详细信息

针对天然气燃烧过程的近红外光谱数据,采用了一种融合波长选择和异常光谱检测的定量分析方法。该方法根据偏最小二乘(PLS)模型的系数及预测误差的统计分布,在实现波长选择的同时,完成异常光谱样本的检测。与PLS、先用留一法将异常样本删除后PLS建模(LOO-PLS)、基于PLS的无信息变量消除法(UVE-PLS)以及先用留一法将异常样本删除后使用UVE-PLS建模(LOO-UVE-PLS)相比较,该方法将甲烷预测模型的预测均方根误差(RMSEP)分别降低了14.33%,14.33%,10.96%和12.21%;将一氧化碳预测模型的RMSEP分别降低了67.26%,72.58%,11.32%和4.52%;将二氧化碳预测模型的RMSEP分别降低了5.95%,19.7%,36.71%和4.04%。实验表明,该方法建立的分析物预测模型具有较高的预测能力和较好的稳健性,在大大减少所选波长数量,降低模型复杂度的同时,还能有效地检测出异常光谱样本,减小两者之间的相互影响。

关键词：天然气燃烧近红外光谱波长选择异常光谱检测

相关性分析在近红外光谱波长选择中的研究及应用

在线全文

学校读者我要写书评

暂无评论

相关性分析在近红外光谱波长选择中的研究及应用

作者：万岩黑龙江八一农垦大学

学位级别：硕士

近红外光谱数据中往往包含着大量的冗余信息和一定量的噪声,这些信息会影响近红外光谱预测模型的预测性能。因此,建模前要对近红外光谱数据进行特征波长选择,合理减少变量数目,突出特征变量和响应变量之间的关系,优化预测模型。在众多... 详细信息

近红外光谱数据中往往包含着大量的冗余信息和一定量的噪声,这些信息会影响近红外光谱预测模型的预测性能。因此,建模前要对近红外光谱数据进行特征波长选择,合理减少变量数目,突出特征变量和响应变量之间的关系,优化预测模型。在众多的波长选择方法中,相关系数法可以准确计算每个自变量与因变量之间的相关性,保留相关系数较大的波长点用于建模。该方法具有计算简单、复杂度低和解释性强等优势。但相关系数法未考虑波长(变量)间的相互作用,波长(变量)间的共线性等问题。为了解决这些问题,本文在相关系数法基础上,进一步考虑降低波长间相关性,并放大自变量与因变量之间的相关性,进而提取模型变量,提出了基于一维相关系数的两阶段相关系数波长选择方法(Two Stage Correlation Coefficient,TSCC)和基于二维相关系数的重要变量二维相关系数波长选择方法(Two-dimensional Correlation Coefficient of Important Variables,2DIV)。具体研究内容如下:(1)提出基于一维相关系数的TSCC算法。在一维相关系数算法(One-dimensional Correlation Coefficient,OCC)基础上,再次利用OCC算法,选择与其他变量之间相关性均较小的变量用于建模。将TSCC算法应用到两组公开的近红外光谱数据集(玉米数据集、土壤数据集)上,建立多元线性回归模型和偏最小二乘回归模型,并与不同波长选择方法(连续投影算法、OCC算法)的模型预测效果进行比较。结果表明,TSCC算法消除了波长间的多重共线性。同时,保持了自变量和因变量之间的高相关性,所筛选的变量子集适合于用多元线性回归模型建模,而且模型预测能力优于OCC算法和连续投影算法等方法,是一种有效的波长选择算法。(2)提出基于二维相关系数的2DIV算法。为了表达更多特征波长间的相互作用关系,增强光谱数据与待测化学物质含量的相关性,利用二维相关系数结合竞争自适应重加权采样法和变量重要性投影法计算重要变量间的相关系数,在此基础上进行波长选择。采用5种预处理(一阶求导、二阶求导、多元散射校正、标准正态变量变换、SavizkyGolay一阶导数法)方法对原始数据进行处理,并分别计算5种预处理后的光谱数据所对应的二维相关系数,根据二维相关系数等势图分布和相关系数大小选择合适的预处理方法。将预处理后的数据按照3:1的比例划分为建模集和预测集。使用竞争自适应重加权采样法选择与待测化学物质含量相关性高的变量,在此基础上采用变量重要性投影法选择出对化学成分预测贡献大的自变量,最后通过构建光谱指数与待测化学物质含量的二维相关系数进行特征波长选择,减少预测模型的变量数,提升预测精度。结果表明:同种光谱指数下,基于2DIV算法选择的特征波长构建的预测模型较基于其他波长选择方法所选波长构建的预测模型拥有更好的预测效果。其中,基于比值指数的2DIV法所选特征波长波长建立的玉米秸秆木质素含量预测模型的效果最优,模型预测集决定系数为0.9310,预测集均方根误差为0.3597。

关键词：相关系数选择近红外光谱波长选择光谱指数