检索结果-南通市图书馆

统计与决策 2019年第23期35卷 23-27页

作者：刘进南开大学统计与数据科学学院

条件协方差矩阵在投资组合和金融风险管理中具有重要意义。文章针对(高维)条件协方差矩阵估计的一些最新研究成果进行了综述,并分析了这些方法的优势和不足之处,同时指出了进一步研究的方向。

关键词：条件协方差参数方法非参数方法高维统计

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

高维精度矩阵的同时推断问题

高维精度矩阵的同时推断问题

作者：高文杰中国科学技术大学

学位级别：硕士

在这个高速发展的信息时代,各行各业越来越重视对数据和数据间关联性的研究。其中,高斯图模型是一种被广泛应用在在网络数据分析中的图模型方法。目前,已经有很多关于高斯图模型参数估计方法的研究,并且对于这些估计,基于图模型内单点... 详细信息

在这个高速发展的信息时代,各行各业越来越重视对数据和数据间关联性的研究。其中,高斯图模型是一种被广泛应用在在网络数据分析中的图模型方法。目前,已经有很多关于高斯图模型参数估计方法的研究,并且对于这些估计,基于图模型内单点的统计推断方法也逐渐建立起来。然而,关于高斯图模型中多个点的同时统计推断问题,目前的研究还涉及较少,但是这一课题同样具有很重要的意义,因为在实际应用中我们往往更加关心网络中多个点或者一片区域的连接情况,而不仅仅局限于两点之间。在这篇文章中,我们基于广义线性统计模型的同时推断方法,结合高斯图模型已有的参数估计和统计推断方法,提出了一种自助方法来进行高斯图模型的同时统计推断,包括得到图模型中多个点的同时置信区域和解决对应的多变量同时假设检验问题,以及提出处理支撑恢复问题的方法。我们的同时推断方法适用于大规模的高斯图模型,并且允许被关注的预测变量的数量大于样本量,因此,该方法具有良好的适应性和拓展性。不仅如此,我们还在理论上证明了我们的方法得到的同时置信区域会渐近地达到预先设定的显著性水平,而支持恢复方法是一致的和有效的,并且给出了理论上的最优调节参数。同时,我们设计了仿真模拟,并通过R语言进行数值实验,验证了该方法在处理高斯图模型同时统计推断中的可行性和有效性。

关键词：高维统计同时统计推断高斯图模型支撑恢复

无穷可分与复合Poisson律：相关计数数据模型、高维变量选择

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

无穷可分与复合Poisson律：相关计数数据模型、高维变量选择

作者：张慧铭华中师范大学

学位级别：硕士

本文借助母函数等工具研究了离散复合Poisson分布(简称DCP分布)的概率理论性质、统计推断与数值计算,对DCP分布和相关回归模型做了较全面的综述,并特别地探讨了计数数据回归的惩罚估计。本文的DCP分布有如下形式的母函数：著名的Fellle... 详细信息

本文借助母函数等工具研究了离散复合Poisson分布(简称DCP分布)的概率理论性质、统计推断与数值计算,对DCP分布和相关回归模型做了较全面的综述,并特别地探讨了计数数据回归的惩罚估计。本文的DCP分布有如下形式的母函数：著名的Felller刻画是：离散复合Poisson分布等价于离散无穷可分分布,这可视为Levy-Khintchine无穷可分分布刻画的特例情况。特别地,当{αi}>i=1∞可取负值且之和是绝对收敛时,称之为伪离散复合Poisson分布,它继承了DCP分布的部分性质。第一章介绍了本文的重要工具(母函数和Fourier变换),完善了Felller关于离散无穷可分刻画的证明;对Lasso等高维变量选择方法进行了简介;介绍了Bayesian Lasso方法,讨论了先验分布无穷可分的情况,并设想以适当的零膨胀分布作为先验分布得到稀疏非零系数的估计。第二章讨论了DCP分布(过程)的刻画,并且在附录里列举了对其概率质量函数的十种不同证明,对文献中DCP分布的百余种特例或子族进行整理。本章用Stein-Chen方法和算子半群方法研究了独立离散随机变量之和与相对应的DCP分布的全变差上界估计,还得到了DCP分布的三角阵逼近。第三章讨论了DCP分布的统计量、参数估计以及FFT算法、离散Kolmogorov-Smirnov检验。第四章研究了基于DCP分布的一些统计应用：1)运用第三章的累积量估计和Fourier变换估计对两个精算中具有零膨胀与过离散特点的理赔数据做了DCP分布拟合;2)我们证明了任意取0值概率大于0.5的离散分布均为伪离散复合Poisson分布,由此利用伪DCP分布的零膨胀性质和加虚拟频数的技巧,得到任意离散分布的拟合方法,并进行了离散K-S检验与卡方检验的对比;3)探讨了基于DCP分布的计数数据广义线性模型,用惩罚估计的方法来挑选重要回归变量。特别地,我们得到了负二项回归系数Elastic net估计值非零(为零)的充分必要条件(类似Karush-Kuhn-Tucker条件)。然后对狩猎蜘蛛计数数据分别实现了基于极大似然、Lasso惩罚、Elastic net惩罚的负二项回归,并进行了比较分析。4)阐述了由DCP分布特例衍生出的离散Frailty模型和治愈率模型(竞争因素的长期生存者分析模型)。5)展望了利用混合Poisson分布逼近离散分布的问题。由于混合系数选择的无穷维性和复杂性,混合分布的系数的估计成为高维问题。

关键词：无穷可分与复合Poisson 计数数据建模广义线性模型 Stein-Chen方法离散Kolmogorov-Smirnov检验高维统计零膨胀分布

稀疏性假定下两个高维相关性矩阵的相等性检验

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

稀疏性假定下两个高维相关性矩阵的相等性检验

作者：杨栩智哈尔滨工业大学

学位级别：硕士

随着计算机科学的发展,我们获取数据的能力越来越强,数据的获取场景越来越多样化,导致了数据的维度和数据量不断大幅度增加,产生了大量的高维数据问题。这样的高维数据在基因,金融,互联网领域出现得越来越多。例如:在蛋白质的分类问题中... 详细信息

随着计算机科学的发展,我们获取数据的能力越来越强,数据的获取场景越来越多样化,导致了数据的维度和数据量不断大幅度增加,产生了大量的高维数据问题。这样的高维数据在基因,金融,互联网领域出现得越来越多。例如:在蛋白质的分类问题中,我们往往是通过对蛋白质的基因对进行测序,从而根据不同蛋白质所蕴含的不同的基因对来区分不同种类的蛋白质。但是在实际操作过程中,由于基因测序的成本非常高,导致我们的样本量（n）非常少,但是每个样本所蕴含的基因对（p）却是成千上万,这就产生了一个“小n大p”的问题。对于这样的“小n大p”问题,经典的统计方法往往会失效或者犯第一类错误（原假设为真的情况下拒绝原假设）的概率很大。产生这一现象的原因可以从随机矩阵领域中的Mar?henko-Pastur分布的分布行为中看出:在高维数据的情形下,样本协方差矩阵所对应的特征值的波动开始和总体协方差矩阵所对应的特征值的波动发生显著性的偏差,这使得样本协方差矩阵不再是总体协方差矩阵的有效估计,自然的,高维情形下,样本相关性矩阵也不再是总体相关性矩阵的可靠估计了。这一事实导致许多经典的统计方法在高维数据的情形下表现非常糟糕,在高维统计检验的问题中,如果依然对高维数据应用低维的经典方法则往往会以较大的概率发生第一类错误。因此,在过去一段时间的研究工作中,提出新的统计方法以应对高维数据成为了现代统计学的主要挑战。由于协方差矩阵和相关性矩阵在许多统计方法中扮演着十分重要的角色,因此在高维统计分析中,关于高维协方差矩阵和相关性矩阵的的问题又是其中至关重要的核心问题。皮尔逊协方差（下称“协方差”）往往被用来刻画不同的变量之间是否有线性关系,而由于现实数据中往往存在着不同的量纲,例如:身高数据和年龄数据,体重数据和摄入食物质量的数据,这样量纲的不同将会使得不同性质的变量之间的协方差无法比较,因此协方差往往需要被标准化来去量纲,从而可以达到比较不同性质的变量之间的相关性大小的目的。这样标准化之后的协方差我们就称之为皮尔逊相关系数（下称“相关系数”）。由不同变量之间的协方差构成的矩阵被称为协方差矩阵,由不同变量之间的相关系数构成的矩阵被称为相关性矩阵。在统计分析中,协方差矩阵和相关性矩阵的相等性的问题往往受到格外的关注,因为有很多的统计方法是建立在协方差矩阵或相关性矩阵相等的假设之下的。例如Fisher的线性判别分析就建立在两个样本的协方差矩阵相等的假设之下。因此,在高维数据分析中我们经常有必要事先检验两个样本的总体协方差矩阵或相关性矩阵是否相等,否则我们的统计方法可能会难以实施。在检验协方差矩阵和相关性矩阵的相等性的问题上,传统的方法往往是采用由Kullback在1969年提出的似然比统计量（likelihood ratio test statistic）来处理两样本或多样本的相等性的检验问题。这种方法在传统的低维统计中有着优异且高效的表现,但是正如我们之前所提到的那样,在数据维度p相对于样本量n来说十分大的情况下,样本协方差矩阵已经不再是总体协方差矩阵的可靠的估计,因此在用似然比统计量去处理高维的协方差矩阵或相关矩阵的检验中往往会有较大的概率发生第一类错误。基于这一事实,我们需要发展出更多的针对高维协方差矩阵或相关性矩阵的相等性检验的方法来替代传统的似然比统计量的方法。在众多的高维统计方法中,其中一种有力工具是随机矩阵理论,随机矩阵理论是基于样本协方差矩阵的特征值来构造所谓的“线性谱统计量”,通过推断线性谱统计量的极限分布来得到各种基于特征值的统计量的极限分布。这种方法的好处在于,线性谱统计量往往能包含一类基于协方差矩阵的特征值的统计量,一旦得到了线性谱统计量的极限分布,则很多基于协方差矩阵的统计量的极限分布也随之自然得到。但是缺点在于很多情形下,线性谱统计量的极限分布非常难以推算,因此对于一些情形,随机矩阵的理论复杂性较高。而在本文中我们将主要利用统计渐进理论的方法针对两样本高维相关性矩阵的问题进行研究。在两样本高维相关性矩阵的检验的问题中,另一种有力的工具就是通过构造极值统计量来判断两个相关性矩阵是否来自同一总体。Jiang在其2004年的工作中首次构造了针对单样本的高维相关性矩阵的检验问题的极值统计量,Jiang利用Stein的方法证明了这种极值统计量是依分布收敛到某个I-型极值分布的。Jiang的工作给相关性矩阵的检验问题带来了新的思路,我们可以将极值理论引入到统计检验中来,将极值统计量的极限分布问题转化为独立随机变量或几乎独立的随机变量的和的极限分布问题,从而再利用Stein方法得到最终的极值统计量的渐近分布。而Cai,Liu和Xia在2013年同样利用构造极值统计量的方法提出了针对两样本高维协方差矩阵的检验的极值统计量Mn,并在总体相关性矩阵满足一定的稀疏性条件的情形下证明了M

关键词：高维统计相关性矩阵极值理论极值分布统计检验

互联网背景下基于集成半监督学习的用户对抗性识别

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

互联网背景下基于集成半监督学习的用户对抗性识别

作者：张伟健天津财经大学

学位级别：硕士

移动互联网的快速发展给统计学习的研究带来了全新的挑战,该背景下由智能手机所采集的海量数据具有三个特点,一是高维度,二是弱相关,三是海量的无标签样本点与有限的有标签样本点相结合。针对这一些问题,论文梳理了高维统计分类算法的... 详细信息

移动互联网的快速发展给统计学习的研究带来了全新的挑战,该背景下由智能手机所采集的海量数据具有三个特点,一是高维度,二是弱相关,三是海量的无标签样本点与有限的有标签样本点相结合。针对这一些问题,论文梳理了高维统计分类算法的几个主要类型,并结合特征和目标之间的弱相关特点,着重介绍了一种最新的能够解决弱相关特征降维问题的非参数特征扩充及选择算法(Feature Augmentation via Nonparametrics and Selection,FANS)。论文基于FANS算法和带有一范数惩罚项的Logistic回归算法,构建一种新的集成半监督学习算法:对抗性用户识别算法。该方法的核心机制是,利用两种算法的分歧性,以及FANS在冷启动上的核心优势,序贯训练两个算法,它们都会从无标签样本组中挑选置信度最高的样本点,赋予其相应的标签,加入到对方的训练数据集中。从半监督学习的角度而言,向初始训练集中添加伪标注数据,必然会引入误标注噪音,那么必然就存在两个相互矛盾的目标,一方面是希望添加更多的伪标注数据,扩充训练集,而另一方面则是希望添加更少的伪标注数据,以减少引入的噪音水平。半监督学习算法方面的文献普遍没有解决这一矛盾,而论文发掘历史文献,发现80年代所提出的基于训练集中有噪音的情况下的统计学习方法——噪音学习理论可以有效解决这一问题。基于噪音学习理论,可以评估每一个轮次添加的伪标签样本组的准确率是否超过可容忍的下界,进而为超参数的设定给出指导性的建议。最终,论文实现了一个可以对高维弱相关且具有海量无标签样本的数据集进行学习的分类算法——对抗性用户识别算法,该算法的优点是:一,可以提高总体的分类精确性;二,可以从无标签样本组中识别出高置信样本组,并给出该组样本分类准确率的下界;三,可以根据高置信组规模是否收敛,给出超参数调节策略。

关键词：集成学习半监督学习高维统计用户识别

二次度量回归模型中折叠凹惩罚估计的统计性质

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

应用数学进展 2023年第10期12卷 4357-4364页

作者：张馨玉杨婧昱河北工业大学理学院天津

目前,关于二次度量回归模型的研究受到了广泛关注,比如相位恢复、动力系统状态估计、无标记的距离几何和各种组合图等问题。本文考虑从高维二次度量回归模型中恢复未知信号。通过采用折叠凹惩罚最小二乘估计方法,我们得到了真实信号与... 详细信息

目前,关于二次度量回归模型的研究受到了广泛关注,比如相位恢复、动力系统状态估计、无标记的距离几何和各种组合图等问题。本文考虑从高维二次度量回归模型中恢复未知信号。通过采用折叠凹惩罚最小二乘估计方法,我们得到了真实信号与估计值之间的误差界。并且结果中还表明估计值与真实值有相同的支撑集。另外,文章中我们主要研究SACD和MCP两种典型的折叠凹惩罚函数。

关键词：二次度量回归模型 SCAD惩罚方法 MCP惩罚方法高维统计

维普期刊数据库博看期刊评论

在线全文

学校读者我要写书评

暂无评论

基于随机矩阵理论的配电网时空大数据研究

供用电 2017年第6期34卷 14-19,7页

作者：贺兴邱才明艾芊储磊凌泽南上海交通大学上海200240

现代电力系统是迄今为止最复杂的工程系统,数据驱动方案将在未来电网特别是配电网分析中扮演重要角色。大数据模型和分析方法是当前电力大数据有效利用方案设计的核心和瓶颈。从数据的视角来重新审视当前配电网的发展及所面临问题,利用... 详细信息

现代电力系统是迄今为止最复杂的工程系统,数据驱动方案将在未来电网特别是配电网分析中扮演重要角色。大数据模型和分析方法是当前电力大数据有效利用方案设计的核心和瓶颈。从数据的视角来重新审视当前配电网的发展及所面临问题,利用近年来高维统计的基础突破,提出基于随机矩阵的配电网时空大数据研究框架。旨在形成一套系统性的电力系统数据驱动方案—原始数据、预处理操作、随机矩阵建模、随机矩阵分析、指标提取和可视化、辅助决策,为系统的优化运营决策提供支撑。

关键词：随机矩阵理论数据驱动高维统计线性特征统计量时空大数据