检索结果-南通市图书馆

在线全文

学校读者我要写书评

暂无评论

RIIM:基于独立模型的在线缺失值填补

计算机科学 2022年第8期49卷 56-63页

作者：李霞马茜白梅王习特李冠宇宁博大连海事大学信息科学技术学院辽宁大连116026

随着数据来源的不断丰富,数据的获取变得愈发容易,但质量难以得到保证,从而导致缺失值在真实数据集中普遍存在且难以避免,缺失值填补也就成为数据质量管理领域的经典问题之一。目前,大多数的缺失值填补算法均是针对静态数据提出的,并不... 详细信息

随着数据来源的不断丰富,数据的获取变得愈发容易,但质量难以得到保证,从而导致缺失值在真实数据集中普遍存在且难以避免,缺失值填补也就成为数据质量管理领域的经典问题之一。目前,大多数的缺失值填补算法均是针对静态数据提出的,并不适用于高速到达的动态数据流,且现有算法大多未同时考虑数据的稀疏性和异构性问题。基于此,文中提出了一种新的基于独立模型的在线缺失值填补算法RIIM。该算法同时考虑了数据的稀疏性和异构性问题,并结合近邻填补和回归填补的基本思想对缺失值进行有效填补。首先,针对数据的动态实时性,提出了高效的填补模型增量更新算法;其次,针对数据近邻查找时间代价高以及近邻个数难以确定的问题,提出了最优近邻自适应周期性更新策略;最后基于真实数据集通过大量实验验证了所提算法的有效性。

关键词：缺失值在线填补数据流稀疏性异构性

含有测量误差与缺失值的纵向数据亚组分析方法的模拟研究

在线全文

学校读者我要写书评

暂无评论

中国卫生统计 2024年第1期41卷 12-17页

作者：薛雅心秦国友复旦大学公共卫生学院生物统计学教研室 200032

目的研究可以同时处理协变量含有测量误差和响应变量含有缺失值的纵向数据下的亚组分析方法。方法基于阈值回归模型进行亚组分析;利用重复测量之间的独立性来处理测量误差,并引入逆概率加权来处理缺失值,从而构造一个新的广义渐近无... 详细信息

目的研究可以同时处理协变量含有测量误差和响应变量含有缺失值的纵向数据下的亚组分析方法。方法基于阈值回归模型进行亚组分析;利用重复测量之间的独立性来处理测量误差,并引入逆概率加权来处理缺失值,从而构造一个新的广义渐近无偏估计方程。结果计算机随机模拟显示该估计方法在处理测量误差和缺失数据方面具有良好的效果,相比于未修正测量误差或缺失数据的广义估计方程方法具有更小的偏倚和均方误差。结论亚组分析中,当协变量存在测量误差、响应变量存在缺失值时,通常需要考虑对测量误差和缺失值进行处理,以便得到可靠的参数估计。

关键词：亚组分析纵向数据广义估计方程测量误差缺失值

多重填补技术在医学研究缺失值处理中的应用及发展

在线全文

学校读者我要写书评

暂无评论

中国卫生统计 2022年第2期39卷 293-295,298页

作者：朱荣慧许金芳王睿吴骋海军军医大学卫生勤务学系军队卫生统计学教研室 200433

在医学研究数据采集与获取过程中,经常会碰到缺失值。例如,创新药开发临床试验中,导致缺失值的原因可能有受试者失访、或受试者由于不良事件、对干预措施的不耐受或缺乏疗效等原因中途退出试验[1]。缺失值不仅会给统计分析和结果解释带... 详细信息

在医学研究数据采集与获取过程中,经常会碰到缺失值。例如,创新药开发临床试验中,导致缺失值的原因可能有受试者失访、或受试者由于不良事件、对干预措施的不耐受或缺乏疗效等原因中途退出试验[1]。缺失值不仅会给统计分析和结果解释带来挑战,而且可能会对临床试验结果造成偏倚,使其代表性和真实性受到影响[2]。对于缺失值处理的问题,欧洲药品管理局于2010年发布了《确证性临床试验中缺失数据处理指南》[3]。

关键词：临床试验结果创新药多重填补缺失值缺失数据统计分析中途退出失访

在线全文

学校读者我要写书评

暂无评论

临床试验中缺失值的处理方法探讨

协和医学杂志 2023年

作者：黎剑锋张静怡李立康刘颖欣黎国威广东医科大学公共卫生学院广东省第二人民医院临床流行病与方法学中心

在临床试验中，因各种原因导致数据缺失是很常见的现象。缺失值的存在可造成原数据集信息损失，降低研究结果的稳健性和有效性。因此，如何正确处理缺失值是临床试验中必须重视且谨慎对待的问题。本文介绍了临床试验中缺失值的发生原因... 详细信息

在临床试验中，因各种原因导致数据缺失是很常见的现象。缺失值的存在可造成原数据集信息损失，降低研究结果的稳健性和有效性。因此，如何正确处理缺失值是临床试验中必须重视且谨慎对待的问题。本文介绍了临床试验中缺失值的发生原因、类型及常见处理方法，旨在提高研究人员对缺失值的认识，减少缺失值处理方法的误用。需注意的是，临床试验中应对缺失值的最佳方法是严格预防和/或减少数据缺失的发生，而非事后处理。

关键词：临床试验缺失值删除法插补法

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

基于生物数据的缺失值插补与分类研究

基于生物数据的缺失值插补与分类研究

作者：曹文洁武汉纺织大学

学位级别：硕士

高通量的单细胞转录组测序（sc RNA-seq）技术能够以单细胞分辨率表征转录图谱,更好地揭示未知生物的多样性。然而,由于RNA转录组的数量少、基因表达模式的随机性、细胞的低捕获和低测序效率产生大量的技术和生物噪音,导致单细胞转录组... 详细信息

高通量的单细胞转录组测序（sc RNA-seq）技术能够以单细胞分辨率表征转录图谱,更好地揭示未知生物的多样性。然而,由于RNA转录组的数量少、基因表达模式的随机性、细胞的低捕获和低测序效率产生大量的技术和生物噪音,导致单细胞转录组测序数据具有高维度、稀疏性、具有大量缺失值以及受批次效应影响的特点。正是单细胞测序数据中存在的大量缺失值,严重掩盖了基因与基因间的重要关系,阻碍了下游分析。因此,对于单细胞转录组测序数据缺失值的插补,细胞类型和巨大细胞数量的精确快速分类仍是一项巨大挑战。本文正是基于生物数据,对其缺失值插补与分类进行研究,主要工作包含如下几方面:1、对单细胞数据缺失值插补方法进行综述研究。首先,对国内外目前基于单细胞数据缺失值插补方法,从不同的角度进行分类、分析和比较。通过算法原理与优缺点的比较和分析,为针对特定问题与数据在插补方法的选择上提供建议,对数据的下游功能分析具有基础性研究意义。然后,针对数据稀疏、存在大量缺失值的问题,提出了一种基于多个编码解码器和注意力网络的深度神经网络模型（AMEDNN）,通过在六个数据集上进行插补实验并验证该模型的有效性。2、基于生物序列数据分类算法的研究。针对RNN存在的记忆能力不足以及梯度反向传播困难等问题提出一种新的算法SS-RNN,该算法直接利用多个历史时刻信息来预测当前时刻信息,增强了长时间记忆能力,同时,在时间维度上,可以提高不同时刻状态的相关性。为了包含历史信息,我们分别以连续和不连续的方式为SS-RNN设计了两种不同的处理方法。对于每种方法,有两种添加历史信息的方式:（1）直接添加和（2）权重加权与激活函数映射。本算法共提供六条途径以便全面深入地探索历史信息对RNN的影响。并在五个具有不同大小和数据类型的疾病相关数据集上进行了测试。通过与原始LSTM、GRU和Bi-LSTM以及最近的RNN+GRU、RNN+LSTM和MCNN方法比较,结果表明,我们的方法可以显著提高序列数据分类的精度。此外,添加过去信息的最佳方法可能是直接相加的间断式添加方法。它能有效地解决梯度消失和梯度爆炸的问题,模型性能和阶数之间存在一定的相关性。3、基于集成学习的单细胞转录组测序数据的分类算法研究。我们提出六种基于集成学习的分类模型,EL-KNN、EL-LDA、EL-SVM、EL-NB、EL-DT和EL-HW,结合基于数据的随机采样和多数投票、加权投票的集成机器学习概率预测方法,通过在7种由不同测序平台生成的典型数据集上进行实验,验证该方法的实用性以及可行性。4、基于图注意力网络的单细胞转录组测序数据缺失值插补与聚类算法sc GATv2。该框架通过三种不同的自动编码器的迭代,来挖掘细胞间的潜在关系。我们的主要创新之处在于融入图注意力变分自动编码器,这样在对单细胞测序数据进行降维的同时,不仅能保持原本的拓扑结构,还可以通过注意力机制自动的学习和优化细胞间的连接关系,从而使学习到的数据低维嵌入具有更高的信噪比,通过在四个数据集上与大量现有的方法进行插补与聚类的比较实验,我们发现该模型具有更好的性能,提高了聚类的准确率,对于下游功能分析具有重要的基础性研究意义。通过以上四个工作的研究,完成了对生物类型数据的缺失值插补与分类研究,插补可恢复被缺失掩盖的转录组动力学。填补可能的缺失值可增强细胞亚群的聚类效果,提高差异表达分析的准确性,并有助于基因表达动力学的研究。单细胞的分类与聚类和新细胞类型的发现对于肿瘤、免疫学和发育生物学研究具有极其重要意义。

关键词：单细胞转录组测序数据循环神经网络图注意力网络缺失值插补分类聚类

不同缺失场景下各缺失值不同处理方法的结果比较

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

四川大学学报（医学版） 2018年第3期49卷 430-435页

作者：邱建青周雨秋岳廷妍裴姣税春燕李晓松张韬四川大学华西公共卫生学院流行病与卫生统计学系成都610041 四川省肿瘤医院研究所四川省癌症防治中心电子科技大学医学院成都610041

目的收集四川省肿瘤医院头颈部肿瘤患者住院病案信息数据,探讨不同缺失场景下数据缺失值通过完成者数据集法、期望-极大化法(EM)、马尔可夫链-蒙特卡洛法(MCMC)3种方法处理后的标准化住院天数对标准化住院费用对数值的回归系数估计值r... 详细信息

目的收集四川省肿瘤医院头颈部肿瘤患者住院病案信息数据,探讨不同缺失场景下数据缺失值通过完成者数据集法、期望-极大化法(EM)、马尔可夫链-蒙特卡洛法(MCMC)3种方法处理后的标准化住院天数对标准化住院费用对数值的回归系数估计值r的优劣。方法运用R 3.4.1软件,采用蒙特卡洛模拟,通过设定缺失比例和缺失机制模拟不同场景的缺失数据集,运用完成者数据集法、期望-极大化法、马尔可夫链-蒙特卡洛法估计不同缺失场景的模拟数据集中标准化住院天数对标准化住院费用对数值的回归系数估计值r,并与完整数据集的回归系数估计值r_c结果进行比较,从准确度(各种方法估计的r与r_c比较)和精确度(各种方法的r的变异程度s)两个角度进行评价。结果 3种缺失值处理方法的优劣在不同的缺失场景中均有所差异,完全随机缺失(MCAR)和随机缺失(MAR)(1∶2)机制下,当缺失比例小于30%时3种方法的估计值r均在可接受范围(r_c±0.5s_c);MAR(比例=2∶1)机制任意缺失比例下3种方法的估计值r均在可接受范围内;任意缺失场景下用EM法估计的r的标准误s最小,且与r_c的标准误sc最为接近。结论在选择缺失值处理方法时,应该考虑数据的缺失比例和缺失机制。

关键词：缺失值缺失机制缺失比例期望-极大化法马尔可夫链-蒙特卡洛法

北斗MEO卫星辐射剂量探测数据缺失值处理方法

在线全文

学校读者我要写书评

暂无评论

空间科学学报 2021年第5期41卷 800-807页

作者：郭兴亮崔瑞飞朱亚光田超姜健民岳甫璐宇航动力学国家重点实验室西安710600

针对北斗MEO卫星辐射剂量探测数据出现连续性缺失的问题,开展缺失值处理方法研究.提出一种叠加正弦波的线性样条回归方法,即引入样条函数,对各数据连续缺失的时间段进行分段处理,每段样条采用叠加正弦波的线性方程填充缺失值.结果表明:... 详细信息

针对北斗MEO卫星辐射剂量探测数据出现连续性缺失的问题,开展缺失值处理方法研究.提出一种叠加正弦波的线性样条回归方法,即引入样条函数,对各数据连续缺失的时间段进行分段处理,每段样条采用叠加正弦波的线性方程填充缺失值.结果表明:利用该方法处理缺失值,每段样条中填充曲线与探测曲线在增长趋势、周期性波动等方面具有较高的一致性;相比前向插值法和线性插值法,其填充值与真实值误差更小,关联性更高.该方法较好地解决了数据连续缺失的问题,形成了完整性好、准确性高的北斗MEO卫星辐射剂量数据集,为后续数据的发布、建模和可视化展示等奠定了基础.

关键词： MEO卫星辐射剂量缺失值线性样条回归分析

点源时间序列数据缺失值的估值方法比较——以小流域气象和水文数据为例

在线全文

学校读者我要写书评

暂无评论

中国农业气象 2018年第3期39卷 195-204页

作者：甘蕾周脚根石锦李希沈健林吕殿青李裕元吴金水湖南师范大学资源与环境科学学院长沙410081 中国科学院亚热带农业生态研究所亚热带农业生态过程重点实验室长沙410125 湖南农业大学工学院长沙410128

对点源时间序列数据缺失值进行有效估值能提升其数据质量。为探究不同估值方法对点源时间序列数据缺失值的估值效果及其影响因素,以亚热带典型小流域长期定位观测的每日气象和水文数据(最高气温、最低气温、太阳辐射量、降雨量及地表径... 详细信息

对点源时间序列数据缺失值进行有效估值能提升其数据质量。为探究不同估值方法对点源时间序列数据缺失值的估值效果及其影响因素,以亚热带典型小流域长期定位观测的每日气象和水文数据(最高气温、最低气温、太阳辐射量、降雨量及地表径流量)为例,以均方根误差(RMSE)、绝对平均误差(MAE)和Pearson相关系数(r)为性能验证指标,比较了线性内插法(LIM)、K-最近邻插值法(KNNM)、样条插值法(SIM)、多项式插值法(PIM)和核密度估值法(KDEM)5种估值方法的估值性能差异及其主要影响因素。结果表明:(1)LIM、SIM和KDEM的估值性能总体上优于其它2种方法;(2)5种估值方法对气象数据(最高气温、最低气温和太阳辐射量)缺失值估值的RMSE为1.81~6.35,MAE为1.30~4.20,r为0.70~0.98(P缺失值估值的RMSE为12.54~26.28,MAE为3.60~14.21,r为0.07~0.72。可见,各估值方法对气象数据的估值性能强于对水文数据;(3)上述数据集的变异系数(CV)与估值评估指标(RMSE、MAE及r)线性相关(P值性能的重要因素。

关键词：缺失值估值方法变异系数时间序列

基于制造云服务QoS序列特性的缺失值估计算法

在线全文

学校读者我要写书评

暂无评论

计算机集成制造系统 2016年第12期22卷 2930-2936页

作者：李珊俞瑛胡康华宋波姚叶慧南京航空航天大学经济与管理学院江苏南京210016

针对目前采用的传统时间序列缺失值估计算法对制造云服务QoS中时间序列缺失数据填补效果不佳的现状,提出了一种新算法。该算法通过考虑制造云服务QoS序列的指标关联性与候选服务间的指标数据相似性,构建了基于服务内部QoS指标关联性的... 详细信息

针对目前采用的传统时间序列缺失值估计算法对制造云服务QoS中时间序列缺失数据填补效果不佳的现状,提出了一种新算法。该算法通过考虑制造云服务QoS序列的指标关联性与候选服务间的指标数据相似性,构建了基于服务内部QoS指标关联性的缺失值估计算法和基于候选服务之间指标数据相似性的缺失值估计算法,并将这两种算法通过折衷系数进行融合,得到QoS时间序列缺失值的最优估计值。与传统的时间序列缺失值估计算法进行分析比较,实验结果表明了所提算法的有效性。

关键词：制造云服务服务质量时间序列缺失值