检索结果-南通市图书馆

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

充分降维的稳健性改进与比较研究

系统科学与数学 2023年第9期43卷 2388-2403页

作者：王丙参魏艳华张宝学首都经济贸易大学统计学院北京100070

探讨充分降维算法SIR、SAVE、CP-SAVE的适用范围,从两种角度对充分降维算法进行稳健改进:构建SIR与SAVE混合算法,从而融合二者优点,以适应更广数据类型与连接函数;当观测数据受污染时,利用软修剪方法估计的稳健均值、协方差代替传统估计... 详细信息

探讨充分降维算法SIR、SAVE、CP-SAVE的适用范围,从两种角度对充分降维算法进行稳健改进:构建SIR与SAVE混合算法,从而融合二者优点,以适应更广数据类型与连接函数;当观测数据受污染时,利用软修剪方法估计的稳健均值、协方差代替传统估计,构建稳健充分降维算法.数值实验显示:在连接函数关于自变量均值对称时,一阶算法SIR的降维效果较差,但它对自变量分布、切片数较稳健;相比SIR,二阶算法SAVE、CP-SAVE的要求更苛刻,对切片数、自变量分布都敏感,但可找到SIR探索不到的方向;当自变量为厚尾分布时,CP-SAVE通常优于SAVE;SIR与SAVE混合算法对自变量分布、连接函数的适应性更好,在多种场合下可改进降维效果;软修剪稳健估计对截断参数稳健,建议截断参数略大于异常点比例;相对稳健SAVE,稳健SIR只需要在切片内估计稳健均值,适应条件宽松,更符合实际,推荐优先使用.

关键词：充分降维切片逆回归切片平均方差估计混合算法稳健估计

充分降维中dMAVE方法下基于目标函数的局部影响分析

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

充分降维中dMAVE方法下基于目标函数的局部影响分析

作者：许卫云南财经大学

学位级别：硕士

在大数据时代,我们时常会用到高维数据,充分降维可以在最大限度内保留原始数据的信息。然而,充分降维方法又极其依赖原始数据,因此,对观测数据的影响分析必不可少。基于条件密度函数的最小平均方差估计（Minimum average（conditional）... 详细信息

在大数据时代,我们时常会用到高维数据,充分降维可以在最大限度内保留原始数据的信息。然而,充分降维方法又极其依赖原始数据,因此,对观测数据的影响分析必不可少。基于条件密度函数的最小平均方差估计（Minimum average（conditional）variance estimation based on density function,d MAVE）是一种非常重要的充分降维方法。本文提出了对于d MAVE的局部影响分析方法。该方法依托于一个度量模型扰动前后的降维空间之间距离的空间位移函数,通过引入联合扰动,构建了基于d MAVE目标函数的局部影响分析理论体系,获得局部影响评价统计量,用以评价所有样本点对于估计中心降维子空间的影响。为了在该体系下获得影响评价统计量,本文在传统的d MAVE目标函数的基础上引入了降维向量的约束构建拉格朗日函数,以此摆脱对d MAVE迭代算法的依赖性。模拟研究表明d MAVE目标函数的局部影响分析方法的表现良好,可以处理具有“掩蔽”效应的数据,成功识别出异常点。

关键词：充分降维基于条件密度函数的最小平均方差估计局部影响分析空间位移函数

基于累积协方差矩阵的多元响应变量充分降维方法

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于累积协方差矩阵的多元响应变量充分降维方法

作者：程秀红浙江财经大学

学位级别：硕士

度量和检验两个随机变量之间的相依性历来都是统计研究中的一个基本问题.本文提出了一种新的稳健度量,累积协方差矩阵（Cumulative Covariance Matrix,简称CCM）,用来检验一个q维随机向量y的条件均值是否依赖于另一个p维随机向量x.本文... 详细信息

度量和检验两个随机变量之间的相依性历来都是统计研究中的一个基本问题.本文提出了一种新的稳健度量,累积协方差矩阵（Cumulative Covariance Matrix,简称CCM）,用来检验一个q维随机向量y的条件均值是否依赖于另一个p维随机向量x.本文首先证明,tr{CCM（y|x）}?0恒成立,并且,当且仅当y的条件均值E（y|x）不依赖于x时,等号成立.随后,研究其样本估计量tr{?CCM（y|x）}的渐近性质并证明:当E（y|x）不依赖于x时,此样本估计量是n相合的;否则是根号n相合的.本文通过大量的数值模拟说明,基于tr{CCM（y|x）}的条件均值独立性检验具有良好的经验大小和功效,并且该优势在数据中存在极端值时更加显著.最后,本文基于累积协方差矩阵提出了一种多元响应变量的充分降维方法,用来估计中心降维子空间S,并证明了该方法的相合性.本文提出的降维方法不用考虑切片,能够避免多重随机投影而导致的降维结果的不稳定,并在响应变量中存在异常值时具有稳健的性质.本文还通过广泛的数值模拟和人体血压的实际数据分析展示了本文所提出的降维方法的有限样本性质.本文主要结构如下:第一部分:提出累积协方差矩阵（Cumulative Covariance Matrix）来度量一个q维随机向量y的条件均值是否依赖于另一个p维随机向量x稳健度量,并证明了其样本估计量的渐近性质,此度量在协变量的观测值存在异常值或者极端值时具有一定的稳健性.第二部分:基于累积协方差矩阵提出了一种多元响应变量的充分降维方法,并证明其方法的相合性.本文所提出的降维方法不用考虑切片,能够避免多重随机投影而导致的降维结果的不稳定,并且在响应变量中存在异常值时具有稳健的性质.第三部分:着眼于实际问题,研究响应变量不是标量而是多元响应变量的实验,通过分析人体血压的实际数据分析展示了本文所提出的充分降维方法的有限样本性质.本文的研究内容不仅局限于理论的研究,还包含了大量统计模拟及实际数据分析,从而做到实践与理论并存.

关键词：均值独立性累积协方差矩阵稳健性充分降维多元响应变量

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

回归模型分组充分降维及其变量选择

回归模型分组充分降维及其变量选择

作者：徐晨宇中南大学

学位级别：硕士

充分降维和变量选择是统计学的一大重点研究课题。随着科学技术的发展产生了高维数据,此时传统的变量选择方法不再适用。同时,变量之间往往还存在着组信息。所以统计学家们一直在研究如何利用这些组信息来对高维数据进行充分降维和变量... 详细信息

充分降维和变量选择是统计学的一大重点研究课题。随着科学技术的发展产生了高维数据,此时传统的变量选择方法不再适用。同时,变量之间往往还存在着组信息。所以统计学家们一直在研究如何利用这些组信息来对高维数据进行充分降维和变量选择。本文首先介绍了一种处理高维数据的方法:切片逆回归(SIR),以及其相关延伸方法随机切片逆回归(r SIR)和分组充分降维(g SDR)。基于r SIR和g SDR方法,我们提出一种新的充分降维方法:随机分组切片逆回归(rg SIR)。rg SIR不仅可以利用原始数据的组信息,同时还可以应用于变量维度大于样本个数的高维复杂数据,解决了r SIR忽略分组信息以及g SDR无法应用于高维数据的缺点。基于新的充分降维方法,进一步通过rg SIR产生的核矩阵来进行变量选择。本文模拟了不同组信息,不同维度的数据。模拟结果表明,基于rg SIR的变量选择在高维和低维的情况下均有不俗的表现。在实例分析中,我们对小圆蓝细胞肿瘤(SRBCT)数据进行处理。通过rg SIR进行变量选择之后采用线性判别分析建立分类规则,并与其他变量选择方法进行比较。结果表明,我们的方法在测试数据上有更小的分类误差,从而证实了rg SIR的有效性和优越性。图7幅,表10个,参考文献59篇

关键词：充分降维切片逆回归变量选择组信息

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于聚合思想的充分降维方法的局部影响分析

基于聚合思想的充分降维方法的局部影响分析

作者：范雪晨云南财经大学

学位级别：硕士

在实际问题中,高维数据的处理面临巨大挑战。充分降维是处理高维数据的一种方法,该类方法寻找原始变量的少量线性组合,并用这些线性组合去替代原始变量,并确保在此过程中不丢失太多回归信息。聚合降维(Aggregate dimension reduction,A... 详细信息

在实际问题中,高维数据的处理面临巨大挑战。充分降维是处理高维数据的一种方法,该类方法寻找原始变量的少量线性组合,并用这些线性组合去替代原始变量,并确保在此过程中不丢失太多回归信息。聚合降维(Aggregate dimension reduction,ADR)基于中心子空间可以分解为有限个局部降维空间这样一个性质,聚合局部降维子空间的估计来获取降维子空间的估计。聚合逆均值估计(Aggregate inverse mean estimation,AIME)将聚合思想和经典的累积均值估计(Cumulative mean estimation,CUME)结合起来。该方法使用K近邻算法给出局部区域,并在每一个局部区域上进行降维。该方法对自变量分布假设无太大依赖,对回归函数的类型也不敏感,且在中心子空间估计的穷竭性方面表现良好。现实数据中常常会出现异常点,这些异常点通常会对降维子空间估计产生负面影响,因此本文主要研究如何评估样本点对降维结果的影响。依托Chen等(2022)提出的局部影响分析的相关理论,本文提出了聚合逆均值估计的局部影响分析方法。该方法使用空间位移函数刻画扰动前后中心子空间估计的差异,并基于对该函数在零扰动处的局部行为的刻画,求得拟曲率表达式,从而获取对中心子空间估计具有最强影响的扰动方向,并以该方向作为影响评价统计量。文中通过模拟分析演示了本文提出的方法,并检测了其效果。

关键词：充分降维局部影响分析空间位移函数拟曲率聚合逆均值估计

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于秩散度的充分降维

基于秩散度的充分降维

作者：任凤娇吉林大学

学位级别：硕士

随着大数据技术的高速发展,高维数据已普遍存在于医疗、电商、交通、金融等多个领域.然而,数据维数的膨胀给数据的统计分析带来了极大的困难和挑战.充分降维(SDR)方法在实现降维的同时保证了给定预测变量时响应变量的条件分布不会有信... 详细信息

随着大数据技术的高速发展,高维数据已普遍存在于医疗、电商、交通、金融等多个领域.然而,数据维数的膨胀给数据的统计分析带来了极大的困难和挑战.充分降维(SDR)方法在实现降维的同时保证了给定预测变量时响应变量的条件分布不会有信息丢失.在本文,我们首先提出了一种新的度量随机向量间相关性的方法:秩散度(RD).进一步介绍了基于RD的SDR(RDSDR)方法来估计中心子空间.该方法具有模型自由的优势,与其他充分降维方法相比,无需对预测变量和响应变量进行严格的限制,且对重尾型误差分布具有良好的稳健性.此外,在预测变量是分类型或离散型,响应变量是多元的设定下,RDSDR仍然能有效地估计出中心子空间的基方向.我们也证明了中心子空间的RDSDR估计的相合性.在模拟和实例分析中,我们将提出的RDSDR方法与常见的充分降维方法进行了比较,结果表明我们提出的方法具有较高的有效性以及实用价值.

关键词：中心子空间 MM算法秩散度稳健性充分降维

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

分组充分降维方法的局部影响分析

分组充分降维方法的局部影响分析

作者：赖新林云南财经大学

学位级别：硕士

现代计算能力的进步,使得处理海量数据成为可能,然而随着数据信息的不断增多,使用非参数方法对高维数据进行统计推断将变得越来越艰难,因为这可能面临着“维数灾难”。充分降维理论的提出为解决这类难题提供了一个可行的思路,其基本思... 详细信息

现代计算能力的进步,使得处理海量数据成为可能,然而随着数据信息的不断增多,使用非参数方法对高维数据进行统计推断将变得越来越艰难,因为这可能面临着“维数灾难”。充分降维理论的提出为解决这类难题提供了一个可行的思路,其基本思想是在尽量保留回归信息的前提下寻找原自变量的少量线性组合去替代原始自变量。迄今,已有许多充分降维方法被提出。在实际应用中,还可能大量地存在这样的情形:自变量按其自身特性可天然地进行归类分组。分组充分降维方法充分考虑了分组信息,具有估计精度更高、可解释性更强等优点,因而是解决此类情形的一种广受欢迎的方法。在进一步研究高维非参数回归过程中,常需用到充分降维的推断结果,因此对充分降维方法敏感性的研究就显得很有必要。本文主要关注针对g-RMAVE(groupwise refined minimum average variance estimator)方法的局部影响分析。该方法依托于空间位移函数,该函数是扰动向量的函数,用以刻画施加扰动前后降维空间估计的差异度量。在此基础上,我们通过构建影响图上沿方向?上的升截线,导出拟曲率的表达式,用以度量模型的微小扰动对降维空间估计的局部影响,进而给出求取最强影响方向的方法,并将最强影响方向作为局部影响的评价统计量。为了减轻计算负担,我们仅在g-RMAVE算法的最后一次迭代中引入对数据点的联合扰动。此外,我们通过模拟数据分析对本文提出的方法进行验证。模拟结果表明,本文所提出的局部影响分析方法有助于避免掩蔽效应,在异常点识别方面表现良好。

关键词：充分降维 g-RMAVE 局部影响分析空间位移函数拟曲率

基于L2,0范数与流形约束的稀疏充分降维方法

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于L2,0范数与流形约束的稀疏充分降维方法

作者：王洁丽北京交通大学

学位级别：硕士

高维数据的回归分析广泛应用于机器学习、信号处理、生物学以及金融经济学等众多学科领域与实际问题中。传统的统计回归方法不能很好地直接处理高维数据.如何在不丢失回归信息的情况下对高维数据进行降维,转化为可处理的低维模型,是充... 详细信息

高维数据的回归分析广泛应用于机器学习、信号处理、生物学以及金融经济学等众多学科领域与实际问题中。传统的统计回归方法不能很好地直接处理高维数据.如何在不丢失回归信息的情况下对高维数据进行降维,转化为可处理的低维模型,是充分降维的基本思想,并在回归分析中至关重要.近年来,使用距离协方差进行充分降维的有效稀疏估计受到了广泛的关注.其中关于稀疏性刻画大都采用松弛策略进行近似处理.本文将基于组稀疏的本原函数L范数,结合Stiefel流形约束,建立新的稀疏充分降维方法,主要研究工作包括:(1)基于距离协方差损失函数,以组稀疏本原函数LL范数为正则项,建立L范数正则的流形约束优化新模型;(2)在理论方面,针对建立的非凸非连续流形约束优化问题,建立其一阶最优性条件.特别地,引入KKT点和P-稳定点两种类型的稳定点,并揭示问题的局部最优解与KKT/P-稳定点之间的关系,进一步丰富了非凸非连续优化理论研究内容;(3)在算法方面,针对Stiefel流形约束这一特殊结构,设计了流形交替方向乘子法(MADMM)来求解这个问题,并对算法的全局收敛性开展理论分析.这一工作填补了使用流形优化算法求解L范数正则问题的空白.通过在模拟数据与真实数据集上进行数值实验,验证了所提方法的有效性与优越性.

关键词：充分降维距离协方差 L2,0范数 Stiefel流形流形交替方向乘子法

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

多元响应数据充分降维的局部影响分析

多元响应数据充分降维的局部影响分析

作者：董凤芝云南财经大学

学位级别：硕士

对高维数据的降维已成为非参数回归领域中一个重要的问题。充分降维是一种用尽可能少的原始自变量的线性组合替代原始自变量且尽可能少地损失回归信息的降维理论方法。当然,充分降维问题不只适用于一元响应变量模型,也适用于多元响应变... 详细信息

对高维数据的降维已成为非参数回归领域中一个重要的问题。充分降维是一种用尽可能少的原始自变量的线性组合替代原始自变量且尽可能少地损失回归信息的降维理论方法。当然,充分降维问题不只适用于一元响应变量模型,也适用于多元响应变量模型。随着所要处理的数据越来越庞大,我们所研究的问题越来越复杂,响应变量是多元的情形经常出现,这使得降低数据维度以建立简洁有效的数据模型尤为重要。由于许多充分降维方法非常依赖数据的分布,所以十分有必要对观测数据进行影响分析。多响应模型下K阶矩降维子空间估计是一种非常重要的充分降维方法。本文研究的是多响应模型下K阶矩降维子空间估计的局部影响分析方法。该方法依托于一个用以度量模型扰动前后降维空间估计之间差异的空间位移函数,通过对数据施加联合扰动,构建了多响应模型下K阶矩降维子空间估计的局部影响分析理论体系,用获得的局部影响评价统计量来评价所有样本点对于降维子空间估计的影响。模拟实验展示了多响应模型下K阶矩降维子空间估计的局部影响分析方法的效果表现良好,该方法可以处理具有“掩蔽”效应的数据集,能够成功识别出异常点。

关键词：充分降维多元响应模型 K阶矩降维子空间局部影响分析空间位移函数拟曲率