函数型数据异常检测在光谱数据中的应用

作     者：穆婉莹 

作者单位：厦门大学 

学位级别：硕士

导师姓名：冯峥晖

授予年度：2019年

学科分类：0202[经济学-应用经济学] 02[经济学] 020208[经济学-统计学] 07[理学] 0714[理学-统计学（可授理学、经济学学位）] 

主      题：函数型数据异常检测 函数型主成分分析 中药光谱数据 深度 

摘      要：我国的中药质量控制一直处于标准化的进程中,旨在保证中药的安全有效,光谱技术是现阶段被广泛应用的方法。这种方法需要预先通过光谱数据选择最合适的波长点,再对溶液中有效成分的浓度和溶液吸光度建立回归模型,所选波长随药品溶液变化而变化,且不能对测量出的光谱数据进行充分的利用和分析。由于光谱数据自身的特征,可将吸光度视为关于波长的函数,从函数型数据的角度出发分析光谱数据,这在中药质量控制领域是一种创新的应用方向。为了对光谱数据进行异常检测从而对中药质量控制过程提出帮助,本文从函数型数据的角度出发,结合清开灵注射液生产过程中的中间产物——六混液的合格样本和不合格样本的光谱数据特征,基于现有的函数型数据异常检测方法提出两种改进方法:(1)将函数型主成分分析应用于光谱数据,对第一主成分、第二主成分得分进行Oja深度的计算,利用箱线图准则对Oja深度进行异常值的识别从而确定异常函数。这一方法是对函数型袋状图的改进,命名为欧加深度异常检测;(2)从函数型数据的深度出发,对光谱数据的导函数计算函数带深度MBD和MEI,根据二者在正常函数中应满足的数值关系来检测异常函数。该方法是对Outliergram方法的应用和改进,命名为导数异常图。基于上述方法研究,本文通过三例数值模拟对不同情形下的异常函数进行检测,对比分析六种方法的检测结果(其中:两种本文改进方法和四种现有方法),得出结论:一,对于形状异常情形,导数异常图是检测类似于六混液光谱数据异常情况时准确率最高的方法,欧加深度异常检测则适用于另一种形状异常的情形,现有方法方向型边缘二维图能够检测出全部异常函数,但会错判较多的正常函数;二,对于位置异常情形,两种改进方法均不适用,函数型箱线图是检测准确率最高的方法。为了将函数型数据异常检测方法应用于光谱数据,本文将这六种方法应用于89剂六混液光谱数据,对不合格样本进行检测,从而对比这六种方法的优劣。结果显示,导数异常图是检测准确率最高的方法,但错判了少数不合格样本,方向型边缘二维图能够检测出全部不合格样本,对合格样本的错判率较高。