检索结果-南通市图书馆

在线全文

学校读者我要写书评

暂无评论

基于互信息软聚类的个性化联邦学习算法

计算机工程 2023年第8期49卷 20-28页

作者：郑美光杨泳中南大学计算机学院长沙410083

联邦学习是一种为多个客户协作训练机器学习模型的分布式机器学习技术,同时能够保护客户数据隐私,但客户数据异构性限制了联邦学习的应用,对此,个性化联邦学习是一种可行的解决方案。传统基于聚类的个性化联邦学习方案将具有相同数据分... 详细信息

联邦学习是一种为多个客户协作训练机器学习模型的分布式机器学习技术,同时能够保护客户数据隐私,但客户数据异构性限制了联邦学习的应用,对此,个性化联邦学习是一种可行的解决方案。传统基于聚类的个性化联邦学习方案将具有相同数据分布的客户划分为一个集群,利用部分客户数据同构的特点减少了数据异构对联邦学习的影响,但忽略了客户属于多个集群的可能性。基于客户数据近似服从多种数据分布的思想,提出基于互信息软聚类的个性化联邦学习算法(pFedMS)。针对目前联邦学习客户聚类指标无法准确反映模型特征相似性的不足,给出基于模型特征的互信息公式作为聚类指标,有效区分相似客户;提出基于类内距离和类间距离的聚类合理性衡量方法,用于动态调整聚类结果;根据隶属度计算客户与集群的相似性,允许客户同时属于多个集群,提高聚类算法的性能。在CIFAR-10和FMNIST数据集上的实验结果表明,pFedMS算法相较于FedAvg、CFL等对比算法,客户最高平均测试准确率提高了2.4~3.0个百分点。

关键词：个性化联邦学习数据偏差软聚类模型特征互信息

网格环境下应用-系统平衡型资源分配优化策略

在线全文

学校读者我要写书评

暂无评论

高技术通讯 2011年第1期21卷 47-53页

作者：郑美光胡志刚丁长松张凯中南大学信息科学与工程学院长沙410083 南京中兴通讯中心研究院研发体系3G平台软件四部南京210012

针对网格环境中资源分配如何同时优化应用执行性能和提高系统资源效率这个难点问题，提出了基于序贯博弈的执行时间最优目标下的Makespan-效率平衡型优化策略以及费用最优目标下的Cost-效率平衡型扩展策略。优化策略利用平衡的思想将资... 详细信息

针对网格环境中资源分配如何同时优化应用执行性能和提高系统资源效率这个难点问题，提出了基于序贯博弈的执行时间最优目标下的Makespan-效率平衡型优化策略以及费用最优目标下的Cost-效率平衡型扩展策略。优化策略利用平衡的思想将资源分配过程分为活动分发和处理器分配两个阶段，通过有限次博弈后获得优化解。仿真实验以实际网格系统和应用参数为源数据，用典型网格测试床检验了优化策略的可行性和有效性。实验结果表明，相比Min-min算法，优化策略具有更低的时间复杂度、更优的应用执行性能和资源效率。优化策略将活动分发到少数“优质”站点，这种集中性使不准确预测信息带来的Makespan偏差加大。

关键词：应用-系统平衡型优化序贯博弈不准确预测信息资源分配网格计算

非结构化云数据管理系统不稳定数据分区识别算法

维普期刊数据库评论

在线全文

维普期刊数据库

学校读者我要写书评

暂无评论

华南理工大学学报（自然科学版） 2019年第8期47卷 105-112页

作者：郑美光杨姣常成龙胡志刚中南大学计算机学院

在大数据背景下,非结构化云数据管理系统中数据节点需要处理不断膨胀的原始数据、索引数据和中间数据,“数据膨胀”将显著增加云数据管理系统的时间和能耗等各类开销.为降低非结构化数据管理系统因数据频繁移动而导致的数据传输开销,文... 详细信息

在大数据背景下,非结构化云数据管理系统中数据节点需要处理不断膨胀的原始数据、索引数据和中间数据,“数据膨胀”将显著增加云数据管理系统的时间和能耗等各类开销.为降低非结构化数据管理系统因数据频繁移动而导致的数据传输开销,文中提出了一种不稳定数据分区的识别算法.首先面向非结构化数据管理系统,通过引入云模型理论对存储系统中的数据分区进行云建模,识别出不稳定的数据分区,然后调用相关算法对其进行重新布局.实验结果显示,不稳定数据分区识别算法可以有效地识别出不稳定的数据分区,对其重新布局后,降低数据传输开销的效果显著.

关键词：大数据云模型数据分区数据传输不稳定分区

xStripeMerge:基于纠删码存储的高效宽条带生成方法

在线全文

学校读者我要写书评

暂无评论

通信学报 2023年第11期44卷 213-224页

作者：郑美光化韬斐张心宇胡志刚中南大学计算机学院湖南长沙410083

为了解决纠删码存储系统的已有宽条带生成方法中扩容方案将产生大量宽条带生成带宽,合并方案受限于双条带的问题,提出了一种针对多条带合并下的宽条带生成问题的高效宽条带生成方法。定义了多条带合并过程的2个关键算子,并将宽条带生成... 详细信息

为了解决纠删码存储系统的已有宽条带生成方法中扩容方案将产生大量宽条带生成带宽,合并方案受限于双条带的问题,提出了一种针对多条带合并下的宽条带生成问题的高效宽条带生成方法。定义了多条带合并过程的2个关键算子,并将宽条带生成问题建模为组合优化问题,提出了优先寻找具有小的奇偶校验块传输成本的窄条带组合方案的高效宽条带生成方法xStripeMerge。实验结果表明,与目前最优的存储扩容方法相比,xStripeMerge可以减少75%宽条带生成带宽。xStripeMerge的时间和空间复杂度远优于扩展的双条带合并方法,xStripeMerge可以在更短的时间内获得与其性能相近的宽条带生成方案,并且xStripeMerge可以适用于大规模存储系统。

关键词：分布式存储纠删码宽条带条带合并奇偶块对齐

在线全文

学校读者我要写书评

暂无评论

基于Local SGD的部分同步通信策略

计算机应用研究 2023年第12期40卷 3754-3759页

作者：魏业鸣郑美光中南大学计算机学院长沙410018

Local SGD训练方法用于分布式机器学习以缓解通信瓶颈,但其本地多轮迭代特性使异构集群节点计算时间差距增大,带来较大同步时延与参数陈旧问题。针对上述问题,基于Local SGD方法提出了一种动态部分同步通信策略(LPSP),该方法利用两层决... 详细信息

Local SGD训练方法用于分布式机器学习以缓解通信瓶颈,但其本地多轮迭代特性使异构集群节点计算时间差距增大,带来较大同步时延与参数陈旧问题。针对上述问题,基于Local SGD方法提出了一种动态部分同步通信策略(LPSP),该方法利用两层决策充分发挥Local SGD本地迭代优势。在节点每轮迭代计算结束后,基于本地训练情况判断通信可能性,并在全局划分同步集合以最小化同步等待时延,减少Local SGD通信开销并有效控制straggler负面影响。实验表明LPSP可以在不损失训练精确度的情况下实现最高0.75~1.26倍的加速,此外,最高还有5.14%的精确度提升,可以有效加速训练收敛。

关键词：分布式机器学习随机梯度下降参数服务器部分同步

在线全文

学校读者我要写书评

暂无评论

网格环境下基于QoS的资源映射策略

计算机工程 2008年第5期34卷 131-133页

作者：胡志刚郑美光中南大学信息科学与工程学院长沙410083

资源映射是网格计算研究领域中的一个研究热点。现有的研究工作通常考虑任务的完成时间,对于满足用户QoS需求前提下提高资源映射性能方面还缺乏深入的研究。该文提出一种网格环境下相互独立任务的基于QoS的资源映射策略——QSPCR_Suffer... 详细信息

资源映射是网格计算研究领域中的一个研究热点。现有的研究工作通常考虑任务的完成时间,对于满足用户QoS需求前提下提高资源映射性能方面还缺乏深入的研究。该文提出一种网格环境下相互独立任务的基于QoS的资源映射策略——QSPCR_Sufferage。综合考虑了任务的截止期属性和多QoS参数,选择最优资源。实验结果表明,该策略可以在满足用户多QoS需求下,有效地提高任务请求成功率和资源利用率。

关键词：网格服务质量映射 QSPCR_Sufferage策略

在线全文

学校读者我要写书评

暂无评论

云环境下海量语义数据的查询策略

中南大学学报（自然科学版） 2017年第5期48卷 1218-1226页

作者：胡志刚景冬梅陈柏林郑美光杨柳中南大学软件学院湖南长沙410073

为了实现对海量RDF数据的高效查询,研究RDF数据在分布式数据库HBase中的存储方法。基于MapReduce设计海量RDF数据的两阶段查询策略,将查询分为SPARQL预处理阶段与分布式查询执行阶段。SPARQL预处理阶段设计实现基于SPARQL变量关联度的... 详细信息

为了实现对海量RDF数据的高效查询,研究RDF数据在分布式数据库HBase中的存储方法。基于MapReduce设计海量RDF数据的两阶段查询策略,将查询分为SPARQL预处理阶段与分布式查询执行阶段。SPARQL预处理阶段设计实现基于SPARQL变量关联度的查询划分算法JOVR,通过计算SPARQL查询语句中变量的关联度确定连接变量的连接顺序,根据连接变量将SPARQL子句连接操作划分到最小数量的MapReduce任务中;分布式查询执行阶段执行SPARQL预处理阶段划分的MapReduce任务,实现对海量RDF数据的并行查询。采用LUBM标准测试数据集对查询策略予以验证。研究结果表明:JOVR算法能够高效地实现对海量RDF数据的查询,并具有较强的稳定性与可扩展性。

关键词：并行处理语义信息查询策略 MapReduce SPARQL 海量RDF

在线全文

学校读者我要写书评

暂无评论

虚拟数据代理云模型构建及数据布局

中南大学学报（自然科学版） 2019年第3期50卷 587-595页

作者：胡志刚张欣欣郑美光常成龙李佳杨柳中南大学计算机学院湖南长沙410083

综合考虑数据集间的依赖关系以及数据中心的存储容量,引入一种名为"虚拟数据代理"的新实体,通过建立虚拟数据代理云模型,将数据布局问题转换为2个映射过程,即从数据集到虚拟数据代理的映射以及从虚拟数据代理到数据中心的映射,进而提出... 详细信息

综合考虑数据集间的依赖关系以及数据中心的存储容量,引入一种名为"虚拟数据代理"的新实体,通过建立虚拟数据代理云模型,将数据布局问题转换为2个映射过程,即从数据集到虚拟数据代理的映射以及从虚拟数据代理到数据中心的映射,进而提出一种基于虚拟数据代理的云模型数据布局策略(CDPVDA)。仿真实验结果表明:CDPVDA与典型的数据放置策略相比,可以将数据中心之间的数据传输开销降低5%～20%。

关键词：云模型数据密集型应用虚拟数据代理数据布局

云环境下面向负载均衡的数据密集型工作流的数据约简策略

在线全文

学校读者我要写书评

暂无评论

计算机应用研究 2019年第8期36卷 2410-2414,2420页

作者：胡志刚李佳郑美光中南大学软件工程学院

如何对数据密集型工作流应用进行高效合理地调度成为云计算领域亟待解决的关键问题之一。针对此问题,构造数据密集型工作流的有向超图模型,提出了数据支持能力概念,通过基于数据支持能力的合并操作对模型进行约简。最后优化超图多层剖... 详细信息

如何对数据密集型工作流应用进行高效合理地调度成为云计算领域亟待解决的关键问题之一。针对此问题,构造数据密集型工作流的有向超图模型,提出了数据支持能力概念,通过基于数据支持能力的合并操作对模型进行约简。最后优化超图多层剖分算法,提出数据约简的数据密集型工作流调度策略HEFT-P。研究结果表明,HEFT-P相比典型的工作流调度策略HEFT、CPOP、MCP,能够很好地对数据密集型工作流进行约简优化,获得较少的调度时间。

关键词：数据密集型工作流有向超图数据约简调度云计算负载均衡