检索结果-南通市图书馆

作者：马木沙中央财经大学

学位级别：硕士

随着现代信息技术的迅速发展,人们已经进入了大数据时代。在日常生活和工作中,每天有数以万计的数据在不同领域产生,如交通、医疗、金融、证券、电商等领域,当数据以流和块的形式按批次到达时,我们称相应的数据集为流数据集。流数据是... 详细信息

随着现代信息技术的迅速发展,人们已经进入了大数据时代。在日常生活和工作中,每天有数以万计的数据在不同领域产生,如交通、医疗、金融、证券、电商等领域,当数据以流和块的形式按批次到达时,我们称相应的数据集为流数据集。流数据是指实时获取的,如水流般不断流入的数据,具有快速、时序、海量的特征,如果对当前获取的数据不及时进行处理,将会永久的丢失该批数据。故而在这样的背景下,如何在不需要存储先前原始数据的情况下对流数据进行实时且准确的统计推断成为了人们研究的关键。在线更新的方法非常适用于流数据集的分析,因此,又称流数据集为在线更新数据集。一般情况下,可将在线更新数据集看作是一个会随时间延续而无限更新的数据集合,而在此数据集下的变量选择近几年来成为了机器学习和统计领域的研究热点之一。本文利用弹性网(Elastic net)方法针对来自线性模型的在线更新数据集进行变量选择和参数估计,包含了对优化目标函数在线更新、惩罚参数在线更新选择和求解算法在线更新的讨论。具体如下:(1)优化目标函数的在线更新。在高维稀疏的情况下,传统的压缩变量方法是在似然函数中加入惩罚项来建立惩罚似然,本文在此基础上,考虑了第批数据到达时的累积惩罚似然函数在一致估计量附近的泰勒展开,利用Karush-Kuhn-Tucker(KKT)条件以及目标函数的等价性,对优化目标函数进行了在线更新,写出了其具体的在线更新形式,该形式的目标函数只依赖于当前批次的数据、由历史数据计算得出的汇总统计量和上一批次数据到达时得到的一致估计量,大大降低了计算机对数据的存储要求,并能够满足在线更新的要求。理论上,本文假设惩罚函数具有可加性并在相应的正则化条件下,证明了得出的在线更新估计量具有一致性。(2)求解算法的在线更新。在得到优化目标函数的在线更新形式之后,考虑到高维数据中自变量之间可能高度相关,于是本文将惩罚项具体设置为弹性网惩罚项,并考虑对其进行求解。首先对可更新的优化目标函数进行求导,并令导数等于0结合泰勒展开然后得到一个在线更新形式的估计方程,对该估计方程利用梯度下降法进行求解,最终得到了相应的在线更新闭式解。在求解过程中,本文避免了求高维背景下负Hessian矩阵的逆,只使用了负Hessian矩阵的对角元素来进行计算,大大减少了内存空间和计算复杂度。(3)惩罚参数的在线更新。弹性网有两个需要选择的惩罚参数,传统情况下,人们可以使用交叉验证的方法来确定惩罚参数,然而对于在线更新数据集,当前批次数据到达时,人们手中只有当前批次的数据和根据历史数据得到的汇总统计量,利用全部数据进行交叉验证的方法在在线更新数据集的背景下也就变得不再可行,为此,受BIC准则的启发,当第批数据到达时,本文提出了在线更新BIC准则,在该准则下,我们可以得到较为精确的惩罚参数,并且能够满足在线更新的要求。为了验证本文方法的合理性和优势,我们设置了大量的数值模拟实验,将本文所提出的基于弹性网的在线更新坐标下降算法与其他现有的在线更新算法进行比较,发现当自变量之间高度相关时,本文方法在变量选择和参数估计上都有更加明显的优势,并且更加接近全数据下传统方法的分析结果。除此之外,我们还将本文方法应用到了UCI数据库中的Year Prediction MSD数据上进行分析,证实了本文方法的优越性。

关键词：在线更新数据集弹性网络变量选择惩罚似然函数

来源：

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于在线更新的线性混合效应模型的参数估计

引用

应用概率统计 2024年第3期40卷 420-432页

作者：盖玉洁谢雨娇王晓迪中央财经大学统计与数学学院北京100081

本文考虑在线更新数据集下线性混合效应模型的参数估计问题,提出了对应的在线更新估计方法,并证明了所得估计量的相合性.通过数值模拟发现,在不同的参数设置下,该方法的表现良好.将该方法与全局估计进行对比发现,虽然该方法在估计误差... 详细信息

本文考虑在线更新数据集下线性混合效应模型的参数估计问题,提出了对应的在线更新估计方法,并证明了所得估计量的相合性.通过数值模拟发现,在不同的参数设置下,该方法的表现良好.将该方法与全局估计进行对比发现,虽然该方法在估计误差方面的表现不如全局估计,但是该方法能适用于在线更新数据集的情形,且大大降低了估计量的估计时间,以及估计时对计算机存储性能与计算性能的要求.

关键词：在线更新数据集线性混合效应模型参数估计

来源：

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

欢迎您,

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

在线全文

请选择保存的检索档案：

请选择收藏分类：

通借通还

欢迎您,

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

在线全文

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：