检索结果-南通市图书馆

作者：古路洋华中科技大学

学位级别：硕士

近几年来,随着人工智能技术的不断发展,人工智能现实应用场景中存在的数据孤岛和数据隐私保护问题不断暴露出来。联邦学习作为一种解决数据孤岛和数据隐私保护问题的有效解决方案,受到了广泛关注,并且在多个领域有了成功的应用。然而,... 详细信息

近几年来,随着人工智能技术的不断发展,人工智能现实应用场景中存在的数据孤岛和数据隐私保护问题不断暴露出来。联邦学习作为一种解决数据孤岛和数据隐私保护问题的有效解决方案,受到了广泛关注,并且在多个领域有了成功的应用。然而,联邦学习的现实应用场景中普遍存在的数据异构性问题限制着联邦学习的发展,成为联邦学习落地的阻碍。解决联邦学习数据异构性问题成为联邦学习的关键挑战。现有的联邦学习数据异构性解决方案的关注点大都在模型上,且大都不能同时很好地解决联邦学习数据异构性问题带来的两方面负面影响。鉴于此,本文从新的角度研究了联邦学习中数据异构性问题的解决方案。首先,本文揭示了联邦学习数据异构性问题产生负面影响的潜在根本原因:联邦学习中设备上数据的非独立同分布(Non-IID,Non-Independently Identical Distribution)造成的设备相互之间的精度拉扯。然后,本文提出了基于联邦学习聚合参数的FedFPO(Federated Fusion Parameters Optimization,联邦聚合参数优化)算法。Fed-FPO算法利用模型变化率来计算不同设备上模型的聚合参数,降低设备相互之间的精度拉扯,从而降低联邦学习数据异构性带来的负面影响。随后,本文对Fed-FPO算法做了进一步优化,将Fed-FPO算法与知识蒸馏(Knowledge Distillation)相结合,提出了Fed-FPDO(Federated Fusion Parameters Distillation Optimization,联邦聚合参数蒸馏优化)算法。Fed-FPDO算法将Fed-FPO算法中聚合得到的聚合模型做进一步知识蒸馏后得到总模型,同时利用模型变化率来计算知识蒸馏中蒸馏温度,进一步放大了Fed-FPO算法在解决联邦学习数据异构性问题上的算法性能,降低设备相互之间的精度拉扯。最后,本文通过仿真实验对Fed-FPO算法和Fed-FPDO算法进行了性能分析。仿真实验中模拟了现实环境中联邦学习数据异构性的真实场景。实验结果表明,FedFPO算法和Fed-FPDO算法在解决联邦学习数据异构性问题上有优越的性能。

关键词：联邦学习分布式学习深度学习数据异构非独立同分布

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于联邦学习的信贷风险预测研究

基于联邦学习的信贷风险预测研究

作者：张晓荦武汉理工大学

学位级别：硕士

联邦学习虽然能够在保障数据隐私安全的前提下实现联合共享建模,解决了银行业面临的数据整合困境,但在信贷风险预测任务中仍存在一些问题与挑战。首先,数据高度倾斜,模型很难学习到违约样本的特征信息,从而降低了联邦学习模型的训练效... 详细信息

联邦学习虽然能够在保障数据隐私安全的前提下实现联合共享建模,解决了银行业面临的数据整合困境,但在信贷风险预测任务中仍存在一些问题与挑战。首先,数据高度倾斜,模型很难学习到违约样本的特征信息,从而降低了联邦学习模型的训练效果。其次,与中心化学习方法相比,传统联邦学习实际上还存在许多性能方面上的缺陷,比如出现客户端漂移现象、模型准确率低、收敛速度慢、系统低效性等问题,而这些问题在各参与方数据呈非独立同分布情景下表现得更加严重。本文在联邦平均算法框架的基础上,从均衡采样和算法优化两个方面进行了研究和改进。主要研究内容如下:(1)研究了传统信贷风险预测模型的机理,并将联邦学习应用于金融信贷违约预测。在信贷公开数据集上对传统机器学习的模型效果进行了评估,选择性能最佳的模型作为联邦学习框架的底层模型,通过一系列对比实验证明了联邦学习解决信贷风险预测问题的可行性和有效性。(2)为降低信贷违约场景中数据不平衡问题对联邦学习模型造成的影响,提出了一种DBADATomek混合采样算法。首先对少数类样本进行基于密度的噪声应用空间聚类(Density-Based Spatial Clustering of Applications with Noise,DBSCAN),根据子簇的采样权重运用自适应合成采样(Adaptive Synthetic Sampling,ADASYN)算法进行过采样,降低了类内不平衡度。最后采用Tomek Links清洗技术修正过采样产生的噪声数据和重叠样本,提高了合成样本的质量和模型的分类性能。通过在正负样本差别很大的数据集上进行平衡采样实验,证明了该算法比其他采样算法更具鲁棒性。(3)为解决信贷风险预测任务中联邦学习算法在非独立同分布数据下性能较差的问题,提出了个体和群体异步共享的联邦优化算法(Individual Group Federated Learning,IGFL)。在客户端优化和服务器优化中充分利用个体与群体的行为模拟相应分布,并将全局注意力机制纳入到服务器的优化中。在保证用户隐私的前提下,克服了传统联邦学习解决非独立同分布问题的局限性,并且在一定程度上缓解了同步问题的开销。实验证明,IGFL算法的性能表现明显优于联邦平均算法,特别是在非独立同分布场景下更能体现出IGFL算法的鲁棒性。

关键词：联邦学习信贷风险预测算法改进非独立同分布异步优化

基于个性化联邦学习和深度森林的AD辅诊模型研究与实现

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于个性化联邦学习和深度森林的AD辅诊模型研究与实现

作者：熊慧东华大学

学位级别：硕士

阿尔兹海默病(Alzheimer Disease,AD)是一种神经退行性疾病,该病一旦确诊,则无法逆转,在临床上的表现通常为记忆障碍、视觉和空间障碍以及人格行为发生改变和其他严重到足以干扰日常活动并显著降低生活质量的认知缺陷。由于该疾病的病... 详细信息

阿尔兹海默病(Alzheimer Disease,AD)是一种神经退行性疾病,该病一旦确诊,则无法逆转,在临床上的表现通常为记忆障碍、视觉和空间障碍以及人格行为发生改变和其他严重到足以干扰日常活动并显著降低生活质量的认知缺陷。由于该疾病的病程会随着时间的推移不断变化,这也就导致了病情会不断严重,并且在目前世界人口老龄化加深以及病程漫长的背景下,AD已经严重影响全球患者及其家庭的正常生活。在医学领域中,阿尔兹海默病的进展被划分为三个不同的阶段,分别为认知正常(Cognitive normality,CN)、轻度认知障碍(Mild Cognitive Impairment,MCI)以及阿尔兹海默病(AD)的确诊阶段。海马体是AD中最先受影响的脑区之一,因此通常使用核磁共振影像(MRI)中的海马体体积来对阿尔兹海默病进行辅助诊断。本文的研究对象为结构核磁共振影像,首先通过将s MRI输入到分割模型中完成海马体的分割,进而计算海马体的体积数据,同时为了保护数据隐私,本文提出了Fe De Fo个性化联邦深度森林框架对AD进行分类预测。本文的主要研究内容和相关工作如下:1)考虑到目前图像处理中深度学习依赖大量数据、需要巨大的计算资源以及缺乏理论解释等问题,同时出于保护患者数据隐私的目的,本文提出了一种用于阿尔兹海默病诊断的个性化联邦深度森林框架。为了有效地保护客户端的数据隐私,我们使用联邦学习框架对每个客户端的本地数据协作训练梯度提升决策树(GBDT)模型。此外,为了解决不同参与方之间的数据差异,我们引入了深度森林模型,以进一步利用本地交互之外的本地数据,并将其与联邦训练后的GBDT融合,以针对每个参与方提供个性化服务。实验表明,该模型在验证集下对AD和CN以及MCI和CN的分类准确率分别达到了91.6%以及72.4%。2)为了更好地评估所提出的Fe De Fo分类模型的性能,本文将不同的联邦聚合算法部署入模型中,同时还考虑了各客户端的数据分布问题对模型分类的影响,因此针对与阿尔兹海默病相关的图像、文本等多模态数据进行实验,验证不同的聚合算法对模型分类效果的影响,通过一系列实验证明了本文所提出的Fe De Fo分类模型的稳健性。3)为方便患者进行自测,或患者家属进行辅助引导测试,本文根据所提出的模型设计并实现了基于个性化联邦学习和深度森林的AD辅助诊断系统。在系统的主页面,用户可以选择提交s MRI影像,而系统后端则会自动计算海马体体积并调用分类模型对患者的病情进行预测,并将预测结果反馈在页面中。此外,系统还采用MOCA量表进行辅助诊断。

关键词：阿尔兹海默病个性化联邦学习深度森林聚合算法非独立同分布

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于动态聚类和粗化策略的联邦学习算法研究

基于动态聚类和粗化策略的联邦学习算法研究

作者：翁建庆厦门大学

学位级别：硕士

人工智能技术能给人们的生活带来极大的便利,但也引发了社会对于用户隐私和数据泄露的担忧。在法律层面,监管机构也在不断地出台新的法律条规来限制隐私数据的流通和共享。在这样的背景下,联邦学习技术应运而生。联邦学习是一种能够保... 详细信息

人工智能技术能给人们的生活带来极大的便利,但也引发了社会对于用户隐私和数据泄露的担忧。在法律层面,监管机构也在不断地出台新的法律条规来限制隐私数据的流通和共享。在这样的背景下,联邦学习技术应运而生。联邦学习是一种能够保证数据拥有方在不共享数据的前提下,进行协同训练的分布式机器学习框架。但现有的联邦学习算法仍然存在一定的不足,本文针对这些不足做出了改进,主要研究工作和创新点如下:(1)针对联邦学习算法在处理非独立同分布的数据时,性能表现会有所下降的问题,在现有的联邦学习框架下引入了无监督的动态聚类算法。该算法不再训练单一的全局模型来满足所有用户数据分布,而是在每一轮训练中基于模型的权重更新将所有用户划分到多个集群中,在每个集群中训练不同的全局模型,这样能够更好地捕捉到不同用户之间的数据异质性从而减缓非独立同分布数据带来的影响。同时为了在聚类之后能够利用联邦学习的多用户优势,在一定程度上克服集群中用户数量较少的问题,引入了全局知识共享机制充当集群之间“交流”的通道,集群之间通过知识蒸馏的方式来共享知识,进一步了提高每个集群的模型性能。(2)针对现有的联邦学习算法在遇到标签分布严重偏斜的数据时出现模型性能骤降的问题,提出了一种简单高效的粗化策略,并从理论上证明了该粗化策略具备如下的性质:(a)达到数据分布扁平化的效果;(b)有效降低每一轮FL算法执行之后权重散度增大的速率,从而加快模型的收敛速度。同时为了将粗化后得到的粗粒度单元转化为联邦学习框架中的基本训练单位,本文还引入了两种单元内训练策略:简单随机采样训练策略和基于LwF(Learning without Forgetting)的随机采样训练策略。实验结果表明本文提出的方法在不同的标签分布偏斜场景中均取得更好的结果。

关键词：联邦学习非独立同分布动态聚类知识蒸馏粗化策略

基于联邦学习的不平衡数据集下模型优化方法研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于联邦学习的不平衡数据集下模型优化方法研究

作者：郝杉华东师范大学

学位级别：硕士

随着人工智能的高速发展和移动设备的普及,各种基于深度学习的应用进入我们的生活,深度学习的成功离不开神经网络对数据的高表征能力,离不开庞大且丰富的数据集。其中,分布式数据处理和分布式机器学习的作用日益凸显,需要多个参与方协... 详细信息

随着人工智能的高速发展和移动设备的普及,各种基于深度学习的应用进入我们的生活,深度学习的成功离不开神经网络对数据的高表征能力,离不开庞大且丰富的数据集。其中,分布式数据处理和分布式机器学习的作用日益凸显,需要多个参与方协作的需求不断涌现。然而,在实际场景中,很多数据由于隐私安全和保密政策,数据拥有者不愿意或不允许将数据分享出来。并且,将数据聚合到一起训练模型会产生高昂的通信成本和存储成本。由此,联邦学习应运而生。联邦学习是一种分布式机器学习技术,能够在保证数据保留在本地不予共享的前提下,使多方设备或机构利用本地数据集协作构建一个共享模型。联邦学习在移动设备的应用场景下很有发展前景,人们每天产生大量的数据保存在私人设备中,在保证数据隐私安全的前提下,这些真实且庞大的数据能够帮助联邦学习构建出更加复杂且准确的模型,为用户提供个性化服务。然而,不同于标准数据集,这些分散在真实设备上的数据集的数据分布是不平衡的,这种不平衡包括全局不平衡（类不平衡）和局部不平衡（独立非同分布）,这种特性会导致最终训练出来的模型准确率大幅下降。此外,联邦学习通常采用一个预定义的神经网络结构做为初始模型,这种预定义的模型结构对数据分布不平衡场景下的联邦训练来说不一定是最优的,且由于联邦学习模型训练周期长,研究人员手动调整网络结构到最优是非常低效的。本文针对上述问题,对联邦学习中不平衡数据集下的模型进行优化,主要包括以下几个方面:·本文首先通过实验和数学推导,探究了不平衡数据集对神经网络模型的具体影响及原因,得出不平衡的数据集会导致模型准确率大幅度下降;训练集和验证集数据分布的异构性是导致模型准确率下降的直接原因;在神经网络结构确定时,仅通过模型训练无法达到平衡数据集下的最优权重。·针对局部不平衡数据集,本文提出了一种基于Kullback-Leibler（KL）散度的模型分组训练调度优化方法。根据客户端数据集的平衡度,设计了基于贪心策略的分组方法,形成局部平衡的数据集,并分配中间服务器管理组内训练。通过实验探究了数据分布对模型收敛效率的影响,得出模型从平衡度由高到低的顺序进行训练时收敛效率最高,由此设计了基于KL散度的模型训练调度优化方法。·针对全局不平衡数据集,本文设计了基于神经网络结构搜索的联邦学习架构。该架构采用基于分组的搜索策略,由算力强大且存储资源充足的中间服务器与客户端配合进行神经网络结构的搜索,能够使得资源受限的移动设备也参与到神经网络结构搜索中。最后实验验证了本文方法较不平衡的CIFAR-10数据集上Dense Net的准确率平均提升了4.39%。

关键词：分布式机器学习联邦学习不平衡数据集神经网络架构搜索非独立同分布

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

车联网中个性化联邦学习聚合策略研究

车联网中个性化联邦学习聚合策略研究

作者：刘予佳北京邮电大学

学位级别：硕士

联邦学习(FL,Federated Learning)是一种分布式机器学习方法。客户端本地训练学习模型,将模型参数上传至服务器聚合。可以实现对大量数据的协作学习,充分利用多个学习代理的计算能力。无需将原始数据与服务器共享,仅进行模型参数的传输... 详细信息

联邦学习(FL,Federated Learning)是一种分布式机器学习方法。客户端本地训练学习模型,将模型参数上传至服务器聚合。可以实现对大量数据的协作学习,充分利用多个学习代理的计算能力。无需将原始数据与服务器共享,仅进行模型参数的传输,为客户端的数据隐私提供保障,且有效降低无线通信的开销。实际联邦学习应用中,客户端上的数据通常是非独立同分布的(non-IID,non-Independently Identically Distribution)。这种数据的异构性会带来全局模型收敛缓慢、不稳定的问题,以及单一全局模型对不同数据特征的客户端的适应能力弱的问题。现有研究中的方法仍存在对本地数据的修正导致丧失个性化、依赖代理数据集、对高度异构数据较为敏感、单一全局模型个性化能力不高等问题。车联网(IoV,Internet of Vehicles)是联邦学习的重要应用场景之一,其中,车辆的高移动性会导致客户端的掉队或退出、通信的离线或中断,进而影响联邦学习的训练速度和最终的模型效果。现有考虑移动性的研究中,狭义异步的联邦学习方式是行之有效的解决方法,但其中缺少针对数据non-IID问题的聚合策略的研究。因此,本论文针对车辆移动性问题和数据non-IID问题,研究了车联网场景中的个性化联邦学习聚合策略,主要研究内容包括:(1)针对单RSU内车辆上的non-IID数据导致全局模型收敛缓慢、不稳定的问题,以及车辆高移动性导致客户端的掉队和退出、通信的离线和中断问题,提出一种单RSU内的自适应权重聚合方法。路侧单元(RSU,Road Side Unit)与其范围内的车辆之间采用狭义异步联邦学习的方式,以降低车辆移动性带来的影响。当RSU服务器收到一个车辆的模型时,根据模型的精度、损失、数据的non-IID程度等状态,使用Advantage Actor-Critic(A2C)算法自适应地得出全局聚合的权重。仿真实验证明,本论文提出的方法使得更多的车辆客户端成功参与了联邦学习的聚合过程,且提高了模型的训练速度、提升了最终的模型效果。(2)针对不同RSU间的non-IID数据局域性特征和差异化联邦学习程度的问题,提出一种多RSU间的个性化聚合方法。重点关注在车联网联邦学习的分层结构中云与多RSU构成的高层结构。该方法基于注意力机制且采用同步联邦学习的方式。云服务器为所有RSU服务器保留云端个性化模型。每轮次全局聚合时,云服务器考虑各RSU服务器模型的不同学习程度,为每个模型根据注意力信息、精度、损失进行计算更新。云端个性化模型下发至各RSU处后为实现模型的本地个性化,基于A2C算法得出合适的本地个性化聚合权重。仿真实验证明,本论文提出的方法实现了联邦学习个性化模型效果的提升。

关键词：车联网个性化联邦学习非独立同分布车辆移动性聚合策略

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于粒子群算法的联邦学习调度策略

基于粒子群算法的联邦学习调度策略

作者：揭智勇广州大学

学位级别：硕士

机器学习作为一种热门的人工智能技术,在为行业提供智能服务方面发挥着至关重要的作用。传统的机器学习方法需要从客户端收集数据并集中于服务器,才能进行模型的存储和训练,这会使用户的隐私数据存在着安全和隐私问题。联邦学习是一种... 详细信息

机器学习作为一种热门的人工智能技术,在为行业提供智能服务方面发挥着至关重要的作用。传统的机器学习方法需要从客户端收集数据并集中于服务器,才能进行模型的存储和训练,这会使用户的隐私数据存在着安全和隐私问题。联邦学习是一种新兴的分布式机器学习方法,允许分布式医疗机构通过上传模型参数协同训练模型,避免服务器收集客户端的敏感数据。但是,联邦学习的服务器通过与多个客户端的无线通信来共同训练一个公共模型,增加了整个训练过程的通信成本。此外,由于用户的偏好不同,存储的数据也是异构的,模型精度收敛的时间也相应提高,可能会大大降低模型的性能。本文对联邦学习框架进行研究,主要工作内容总结如下:(1)本文提出了一种基于图像增强的动态平衡客户端数据预处理方法。本地客户端通过将自己的标签数据量发送至中心服务器,通过服务器计算所有客户端各标签所拥有的最大数据量,以此为扩充数量标准分发给本地客户端,客户端通过多种图像增强方法对已有的数据集进行扩充平衡,使得客户端各标签数据量相同。该方法可以缓解由于数据分布不平衡而导致的联邦学习精度下降的影响。(2)本文提出了一种基于粒子群优化算法的联邦学习优化策略。在联邦学习训练过程中引入粒子群算法进行优化,客户端在使用本地数据进行训练前,将每个客户端模型参数依据全局最优和个体历史最优信息对训练模型进行优化,从而获得更优的神经网络模型,提高联邦学习的训练效率,优化联邦学习通信过程。(3)本文提出了一种基于模型参数价值的客户端调度方案。提出模型参数价值度量标准。通过评估模型的权值散度、更新增量和模型训练损失来识别客户端数据的非独立同分布程度。客户端模型的权值散度和更新增量越大,客户端本地数据集的非独立同分布程度就越高。通过选取非独立同分布程度较低的客户端参与训练,同时参考客户端模型训练的损失结合作为选取客户端进行训练的标准,选取合适的客户端以更高的频率参与联邦学习训练,代替传统联邦学习中随机选取客户端方法,提高联邦学习模型的效果。本文利用包含COVID-19的公开可用的胸部疾病数据集进行模拟和分析,并与现有的联邦学习方法进行比较。实验结果表明,与现有的联邦学习方案相比,本文提出的方法在提高模型精度方面具有更好的训练性能,减轻了由于统计异质性导致的精度下降的影响。

关键词：联邦学习图像增强客户端调度非独立同分布

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

面向数据分布异构的联邦学习方法研究

面向数据分布异构的联邦学习方法研究

作者：陈瑶华东师范大学

学位级别：硕士

海量数据助推了人工智能领域的高速发展,机器学习技术也在现今的社会生产生活中被广泛应用。传统机器学习通常将训练数据集中存储于数据中心进行统一的模型训练。然而,当下数据隐私问题受到广泛关注,集中式训练面临着数据搜集和存储的... 详细信息

海量数据助推了人工智能领域的高速发展,机器学习技术也在现今的社会生产生活中被广泛应用。传统机器学习通常将训练数据集中存储于数据中心进行统一的模型训练。然而,当下数据隐私问题受到广泛关注,集中式训练面临着数据搜集和存储的难度升级。联邦学习作为一种解决“数据孤岛”问题的技术手段,可以充分保护用户数据安全,同时又能让参与用户高效地进行协作训练。联邦学习本质是一种分布式机器学习框架,保证用户数据不出本地的同时又能使用户在协作训练中互相受益。联邦学习在实际应用场景中面临用户数据分布异构的挑战,参与用户数据由数据拥有者独立维护,不同用户间的数据分布存在较大差异,现有的联邦学习算法通常基于用户数据服从独立同分布的假设,在数据分布异构的情况下表现出性能下降、训练过程不稳定等问题。针对上述问题,本文基于现有联邦学习算法进行了研究和改进,提出了两种针对数据分布异构的联邦学习算法:·基于生成模型和历史知识的联邦学习算法(Fed SG):该算法利用生成模型学习用户上传的模型和本地标签计数,提取全局视图下的数据分布作为全局知识,并通过生成器传递至用户,用户对生成器采样进而对本地数据进行增强,从而削弱用户间数据分布差异。在用户本地训练中引入历史知识蒸馏,避免对过去学习结果的遗忘,降低因用户参与度降低对联邦学习算法性能的扰动。·基于生成模型和互蒸馏的联邦学习算法(Fed GM):该算法延用Fed SG算法中利用生成模型提取全局知识的方法,并利用生成器在服务器端构建代理数据集,供用户模型在服务器端进行互蒸馏操作,将蒸馏得到的结果集成至全局模型,取代加权平均的聚合方式,提高了模型的收敛速度和泛化性能,同时保护了用户数据隐私。以上提出的两种算法都在公开的数据集上进行了实验,实验结果表明本文提出的两种算法在数据分布异构情况下的性能明显优于其他的基线算法。

关键词：联邦学习知识蒸馏非独立同分布生成模型

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

个性化联邦元学习方法研究

个性化联邦元学习方法研究

作者：黄家明华南理工大学

学位级别：硕士

联邦学习是一种能够让多个客户端在不共享数据的情况下协同训练机器学习模型的分布式机器学习技术。然而,已有的研究表明,当客户端之间的数据分布是异构的时候,联邦学习会出现明显的性能下降。为了解决这一具有挑战性的问题,研究人员提... 详细信息

联邦学习是一种能够让多个客户端在不共享数据的情况下协同训练机器学习模型的分布式机器学习技术。然而,已有的研究表明,当客户端之间的数据分布是异构的时候,联邦学习会出现明显的性能下降。为了解决这一具有挑战性的问题,研究人员提出了个性化联邦元学习,其中每个客户端通过在联合训练的全局元模型上进行微调获得个性化模型。尽管个性化联邦元学习在这一问题上取得了不错的成果,但是由于这类方法隐式地假设了不同客户端中采样的任务是来自同一任务分布的,当面临数据异构程度较大的场景时,其依旧会出现性能下降问题。针对上述不足,本文分别研究了基于单模型和基于多模型的个性化联邦元学习。在数据高度异构的情况下,单一的全局模型不能够很好的泛化到所有的数据分布中。为此,本文研究了基于单模型的个性化联邦元学习。相比于传统做法中将所有客户端的本地模型初始化为全局模型进行本地更新,本文提出了p Fed Init,一种通过逐层变换操作将全局模型适应到不同本地数据分布的算法。实验结果表明,所提出的p Fed Init算法在模型精度和通信消耗上均优于已有的基于单模型的联邦元学习算法。然而,当数据分布呈现出多个明显不相交的集群时,单一的全局模型在训练中可能会受到多个差异较大的更新方向的影响,导致其难以收敛到一个稳定点。为此,本文提出了G-FML,一种基于多模型的个性化联邦元学习训练框架。在训练过程中,G-FML框架能够自适应地将具有相似数据分布的客户端划分到同一个分组中,并为每个分组设置独立的元模型以适应不同的任务分布。通过在合成数据集以及真实数据集上的实验表明,相比于最先进的联邦元学习,我们所提出的训练框架最高提高了13.15%的准确率。

关键词：个性化联邦学习元学习自动编码器非独立同分布

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

面向异构数据源的联邦学习方法与应用研究

面向异构数据源的联邦学习方法与应用研究

作者：郗珊黑龙江大学

学位级别：硕士

联邦学习（FL）是一种分布式机器学习方法,它的出现使多方数据能够协作学习一个共同的模型,而不需要从本地收集数据,集中传输并存储于服务器。因此,减少了云上的资源消耗,也增强了客户端的隐私性。然而与传统的人工智能技术不同的是,在... 详细信息

联邦学习（FL）是一种分布式机器学习方法,它的出现使多方数据能够协作学习一个共同的模型,而不需要从本地收集数据,集中传输并存储于服务器。因此,减少了云上的资源消耗,也增强了客户端的隐私性。然而与传统的人工智能技术不同的是,在这种分布式的学习方法及其应用中存在巨大的挑战。其一,客户端之间相互独立,互不共享数据,数据集的采集方法及来源等因素导致数据集之间属于不同分布,在训练模型过程中严重影响其性能。其二,将联邦学习应用于医疗诊断领域中,数据集的规模相对与其他普通的公开数据集较少,可能会使得训练模型的性能不被医院等信任。其三,医疗数据涉及患者多方面的隐私数据,在解决数据异构性和可用性的同时,可能忽略对数据集的隐私保护,使得真实数据存在泄露的风险。因此,在联邦学习的框架中,隐私安全问题始终是一项巨大的挑战。为了解决上述问题,本文基于相似度的联邦学习算法提出了FedSim模型,对于数据的异构性主要考虑数据集的非独立同分布（Non-I.I.D）问题。在局部不平衡方面考虑改进损失函数的计算,迫使局部模型加快收敛速度,提高模型性能。在全局不平衡方面,将全局分布与局部分布之间的余弦相似度作为服务器聚合的新权重,从而缓解Non-I.I.D问题导致的模型性能下降。在本地客户端的模型训练选用残差神经网络模型,通过在真实数据下进行实验,实验结果表明该模型在不同的Non-I.I.D设置下均优于基线模型。在联邦学习的应用研究中,本文选择对新型冠状病毒（COVID-19）肺炎患者的胸部X射线图像进行诊断分类。本文提出了一个联邦差分隐私生成性对抗网络（FedDPGAN）模型。具体来说,本文使用分布式的DPGAN生成不同的患者数据,增加训练样本。在GAN模型的训练过程中,鉴别器需要分辨生成数据与真实数据,为了在这一过程中保护数据隐私,引入了差分隐私技术,以确保真实训练数据的隐私安全。更重要的是,该模型下能够缓解训练数据的Non-I.I.D问题对模型性能的影响。本文在实验方面,选用多个基线模型与该模型进行对比,测试了数据集在I.I.D与Non-I.I.D设置下模型的诊断准确度,同时考虑了不同程度的隐私保护下模型的精度。在以上实验中该模型均比基线模型性能更优。综上所述,本文针对数据集的Non-I.I.D问题,在联邦学习的算法方面提出FedSim模型,在联邦学习应用于医疗诊断方面提出FedDPGAN模型,并基于FEMNIST数据集和COVID-19数据集评估模型性能。

关键词：联邦学习非独立同分布余弦相似度差分隐私生成性对抗网络