检索结果-南通市图书馆

基于分布式大数据的Expectile回归分析

同方期刊数据库博看期刊评论

在线全文

学校读者我要写书评

暂无评论

应用数学 2022年第4期35卷 974-981页

作者：胡爱军李楚进湖北第二师范学院数学与经济学院湖北武汉430205 华中科技大学数学与统计学院湖北武汉430074

为应对分布式大数据对传统统计建模分析带来的巨大挑战,考虑Expec tile回归模型以实现基于分布式大数据的有效数据处理和统计推断.其新颖之处在于对分布式存储于每台机器中的数据,分别应用Expectile回归,再通过平均方法聚合这些回归结... 详细信息

为应对分布式大数据对传统统计建模分析带来的巨大挑战,考虑Expec tile回归模型以实现基于分布式大数据的有效数据处理和统计推断.其新颖之处在于对分布式存储于每台机器中的数据,分别应用Expectile回归,再通过平均方法聚合这些回归结果并进行综合推断.在算法上,考虑在处理大数据计算中热门的交替方向乘子算法(ADMM)基础上,提出了分块ADMM算法,该迭代算法易于并行计算,结果稳健,而且可以显著减少存储大数据所需的容量.不仅基于分布式大数据的Expectile回归模型的参数估计具有良好的有效性和渐近性质,而且数值模拟和实证分析也都验证了该方法在处理分布式大数据时的有效性.

关键词：分布式大数据 Expectile回归 ADMM算法 BAER方法

维普期刊数据库博看期刊

在线全文

学校读者我要写书评

暂无评论

云计算下分布式大数据智能融合算法仿真

计算机仿真 2018年第10期35卷 295-298页

作者：靳紫辉夏钰红西南财经大学天府学院四川成都610052

当前分布式数据融合算法存在网络能耗高、数据融合后网络节点生存期较短等问题,提出基于估计机制的分布式大数据智能融合算法。对于连续不确定的数据流,通过滑动时间窗口细分数据。并在滑动时间窗口中依据网格法将数据划分至各网格中,... 详细信息

当前分布式数据融合算法存在网络能耗高、数据融合后网络节点生存期较短等问题,提出基于估计机制的分布式大数据智能融合算法。对于连续不确定的数据流,通过滑动时间窗口细分数据。并在滑动时间窗口中依据网格法将数据划分至各网格中,于各网格中通过信息熵对正常数据进行筛选,采用局部异常因子对于剩余可能是异常的数据进行判断,根据判断结果将异常数据剔除。利用分布式网络参数以及数据特性和变化规律判断最优分簇规模。利用最优分簇结果对数据簇头的生成区域进行限定,将数据节点剩余能量估计当作簇头选取的依据,选择某区域内剩余能量较大的数据节点作为簇头。将在异常数据剔除结果中采集到的正常数据传输至簇头节点,完成分布式数据智能融合。实验表明,上述算法平均网络能耗为32nJ/bit,网络节点存活期较长。所提算法具有较强的可实践性,是一种可靠且科学的数据融合算法。

关键词：云计算分布式大数据融合

在线全文

学校读者我要写书评

暂无评论

基于特征加权的分布式大数据相关性挖掘方法

计算机仿真 2021年第6期38卷 282-285,372页

作者：戴惠丽王敬宇闽南科技学院福建泉州362332 北京邮电大学北京100876

针对传统方法存在计算时间较长,任务分配均匀程度较差的问题,提出基于特征加权的分布式大数据相关性挖掘方法。对软子空间进行聚类,根据特征加权的不确定性表示加权聚类中心,并求解权值。设计特征选择的技术框架对特征加权进行选择,依... 详细信息

针对传统方法存在计算时间较长,任务分配均匀程度较差的问题,提出基于特征加权的分布式大数据相关性挖掘方法。对软子空间进行聚类,根据特征加权的不确定性表示加权聚类中心,并求解权值。设计特征选择的技术框架对特征加权进行选择,依据特征空间搜索机制完成特征筛选。根据特征筛选结果运用MapReduce编程模型对数据簇的聚类中心进行反复扫描,计算样本到聚类中心的距离,去除其中的孤立点。利用Shuffle均衡分组机制计算频繁项集,开始新项的FP树建立及频繁项集挖掘,直至完成所有频繁项集的挖掘。实验结果表明,所提方法的挖掘时间低于传统方法,并且任务分配均衡性较高,说明上述方法具有一定的应用价值。

关键词：特征加权分布式大数据相关性挖掘软子空间聚类任务分配

在线全文

学校读者我要写书评

暂无评论

基于密度演化的分布式大数据云存储方法仿真

计算机仿真 2021年第7期38卷 424-428页

作者：徐丽湖北工业大学计算机学院湖北武汉430070

针对传统分布式大数据存储方法效率慢、能耗高、容易出现冗余信息的问题,提出一种基于密度演化的分布式大数据云存储方法。采用随机系统分析密度演化基础理论,确定相关参数值和关联规则,据此建立分布式云存储基础模型,保证大数据传输存... 详细信息

针对传统分布式大数据存储方法效率慢、能耗高、容易出现冗余信息的问题,提出一种基于密度演化的分布式大数据云存储方法。采用随机系统分析密度演化基础理论,确定相关参数值和关联规则,据此建立分布式云存储基础模型,保证大数据传输存储过程中每条数据能够独立存在,并增强冗余数据的分配准确率和分配效率,通过计算获得云存储中冗余数度分类,构建最佳冗余数据分配策略,最大程度将低存储时间和空间。通过计算数据融合概率实现存储压缩,得出大数据的变化特征识别数学模型,由此实现密度演化的分布式大数据云存储。仿真结果表明,所提方法能够有效减少冗余信息对云存储的影响,且整个过程耗时短、耗能低、效率高,可广泛使用在现实环境中。

关键词：密度演化云存储冗余数据分配分布式大数据数据存储方法

在线全文

学校读者我要写书评

暂无评论

云计算下分布式大数据智能存储算法仿真

计算机仿真 2020年第5期37卷 443-447页

作者：李劭黄诚四川大学网络空间安全学院四川成都610227

为解决传统大数据存储方法存在的存储响应时间长、数据聚类效果差的问题,提出云计算下分布式大数据智能存储算法。通过分析分布式大数据序列,得出归一化的RGB直方图计算大数据直方图的绝对差,映射数据序列的变化,以此对分布式大数据进... 详细信息

为解决传统大数据存储方法存在的存储响应时间长、数据聚类效果差的问题,提出云计算下分布式大数据智能存储算法。通过分析分布式大数据序列,得出归一化的RGB直方图计算大数据直方图的绝对差,映射数据序列的变化,以此对分布式大数据进行分类,再使用K-means算法选择聚类的中心,并拟定聚类数量和标准的测评阈值对数据进行聚类,把所有聚类集合内相应的数据通过长短缓存区将其补全,随后以数据流的形式存储到标签中使其组成完整的分布式大数据文件,从而达到对分布式大数据智能存储的目的。仿真结果证明,研究方法的大数据存储过程耗时更短,且不易受到外界异常干扰,有效增强了大数据的聚类效果,从而提高了分布式大数据的智能存储性能。

关键词：分布式大数据智能存储云计算绝对差

基于属性分类的分布式大数据隐私保护加密控制模型设计

在线全文

学校读者我要写书评

暂无评论

计算机测量与控制 2023年第11期31卷 221-227页

作者：姜春峰西北大学现代学院西安710130

在分布式大数据的存储和传输过程中,数据极易被恶意用户攻击,造成数据的泄露和丢失;为提高分布式大数据的存储和传输安全性,设计了基于属性分类的分布式大数据隐私保护加密控制模型;挖掘用户隐私数据,以分布式结构存储;根据分布式隐私... 详细信息

在分布式大数据的存储和传输过程中,数据极易被恶意用户攻击,造成数据的泄露和丢失;为提高分布式大数据的存储和传输安全性,设计了基于属性分类的分布式大数据隐私保护加密控制模型;挖掘用户隐私数据,以分布式结构存储;根据分布式隐私数据特征,判断数据的属性类型;利用Logistic混沌映射,迭代生成数据隐私保护密钥,通过匿名化、混沌映射、同态加密等步骤,实现对隐私数据的加密处理;利用属性分类技术,控制隐私保护数据访问进程,在传输协议的约束下,实现分布式大数据隐私保护加密控制;实验结果表明,设计模型的明文和密文相似度较低,访问撤销控制准确率高达98.9%,在有、无攻击工况下,隐私数据损失量较少,具有较好的加密、控制性能和隐私保护效果,有效降低了隐私数据的泄露风险,提高了分布式大数据的存储和传输安全性。

关键词：属性分类分布式大数据隐私保护加密控制模型 Logistic混沌映射

维普期刊数据库博看期刊

在线全文

学校读者我要写书评

暂无评论

基于网格技术的分布式大数据混合云存储方法

廊坊师范学院学报（自然科学版） 2021年第1期21卷 12-16页

作者：庄银霞泉州信息工程学院福建泉州362000

为提升分布式大数据的存储能力,实现大数据的定向迁移与应用,提出基于网格技术的分布式大数据混合云存储方法。采用网格技术设计Hadoop型云框架、大数据调度模块、信息互感平台,完成分布式存储结构搭建。在此基础上,通过划分大数据存储... 详细信息

为提升分布式大数据的存储能力,实现大数据的定向迁移与应用,提出基于网格技术的分布式大数据混合云存储方法。采用网格技术设计Hadoop型云框架、大数据调度模块、信息互感平台,完成分布式存储结构搭建。在此基础上,通过划分大数据存储关系,定义混合云存储的具体格式,实现分布式大数据混合云存储方法设计。实验结果表明,与传统分级信息存储方法相比,新方法的大数据定向迁移速率达到4.5×10^7T/h,存储容量的上限也明显提升,能够充分满足分布式大数据存储需求。

关键词：网格技术分布式大数据混合云存储定向迁移

在线全文

学校读者我要写书评

暂无评论

非关系型分布式大数据多分辨率采集系统设计

自动化与仪器仪表 2023年第10期 139-143页

作者：张丹丹吕颍颍黄鑫河南应用技术职业学院郑州450042 银川科技学院银川750021

为了满足用户的数据采集与应用需求,提出非关系型分布式大数据多分辨率采集系统设计。搭建分布式大数据多分辨率采集架构,引入Boosting算法将同一空间分辨率数据划分为同一类别,完成大数据的聚类处理;测量数据传输延时与时钟偏移量,同... 详细信息

为了满足用户的数据采集与应用需求,提出非关系型分布式大数据多分辨率采集系统设计。搭建分布式大数据多分辨率采集架构,引入Boosting算法将同一空间分辨率数据划分为同一类别,完成大数据的聚类处理;测量数据传输延时与时钟偏移量,同步配置分布式时钟;以大数据聚类结果为基础,以分布式时钟同步配置为依据,以用户需求数据分辨率范围为限制,在大数据聚类集合中提取相关数据,选取适当的存储节点保存提取数据,从而实现分布式大数据的多分辨率采集。实验结果表明:应用设计系统获得的数据采集速率最大值为140 MB/s,数据采集质量因子最大值为9.4,证实设计系统应用性能更佳。

关键词：分布式大数据多分辨率非关系型数据大数据聚类复杂属性环境大数据采集

混合云存储架构下分布式大数据异步迁移系统设计

在线全文

学校读者我要写书评

暂无评论

电子设计工程 2019年第23期27卷 45-49页

作者：谢梦怡泉州信息工程学院

在大数据呈爆发式增长情况下,采用传统迁移系统存在迁移响应速率慢的问题,针对该问题,设计了混合云存储架构下分布式大数据异步迁移系统。采用主从同步服务器,通过SQL thread线程读取,实现数据库主从同步与分离。依据大数据迁移流程,分... 详细信息

在大数据呈爆发式增长情况下,采用传统迁移系统存在迁移响应速率慢的问题,针对该问题,设计了混合云存储架构下分布式大数据异步迁移系统。采用主从同步服务器,通过SQL thread线程读取,实现数据库主从同步与分离。依据大数据迁移流程,分析时长和访问频率,由此获取迁移函数,在混合云存储架构下,对敏感数据集进行判断,实现对迁移函数最大数据集的迁移。系统运行结果表明,混合云存储架构下设计的系统迁移响应速率更快,优化了迁移系统性能。

关键词：混合云存储分布式大数据异v步迁移主从同步服务器迁移函数