检索结果-南通市图书馆

非独立同分布数据的多相关性差分隐私矩阵分解方法研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

非独立同分布数据的多相关性差分隐私矩阵分解方法研究

作者：傅星珵广西师范大学

学位级别：硕士

随着互联网应用的迅速发展,尤其是移动式终端和无线网络的大范围覆盖,电子商务中个人和服务提供商对信息的准确获取和传播存在着巨大需求,推荐系统作为一种有效解决海量信息带来的信息过载问题的方法得以广泛应用。与此同时,推荐系统的... 详细信息

随着互联网应用的迅速发展,尤其是移动式终端和无线网络的大范围覆盖,电子商务中个人和服务提供商对信息的准确获取和传播存在着巨大需求,推荐系统作为一种有效解决海量信息带来的信息过载问题的方法得以广泛应用。与此同时,推荐系统的广泛应用使得使用者可以轻易获取大量兴趣相关的推荐信息,这些信息通常包含着个人或企业机构的敏感信息,可能被用于敏感信息的挖掘使得推荐系统存在泄露数据提供者隐私的风险。例如,恶意攻击者能够攻击目标爱好或其他关联获取推荐信息,从而推断出攻击目标的敏感信息。因此为了防止给用户带来隐私泄露的潜在风险,推荐系统通常需要对推荐结果使用有效的隐私保护方法进行数据清洗。其中,基于统计学方法的差分隐私(Differential Privacy)模型拥有严格的数学定义,能提供对抗背景知识攻击的保护能力,近年来受到研究者的广泛关注。在已有的工作中,大多数推荐系统及其隐私保护的研究都是基于数据是相互独立假设的,即独立同分布的数据。而对于非独立同分布数据,传统的保证隐私安全的推荐系统方法存在着两个方面的问题:首先,对于非独立同分布数据,数据中复杂的关联性使标准差分隐私无法对抗关联性推断攻击,而随着对推荐算法研究的深入,各种各样的相关性质被引入到推荐系统中以提高推荐效果;其次,而已有的对相关性数据的差分隐私改进方法需要增加过量的随机扰动噪声,在一些较为简单的应用场景中(例如关系型数据库)这些过量随机噪声带来的信息损失是可以接受的,但是对于使用高维且极其稀疏的数据的推荐系统来说,针对数据复杂关联性质的大量噪声的加入对推荐精度的损害是灾难性的。本文对非独立同分布数据下保证隐私安全的推荐系统问题进行研究,通过对非独立同分布数据的复杂相关性分析,提出了一种基于矩阵分解推荐算法的保证隐私安全的推荐系统方法,并对针对改进的方法提出了新的差分隐私扰动机制,以解决上述提到的两个方面问题。主要研究工作如下:(1)对推荐系统和隐私保护方法的研究现状进行了综述和分析,指出了传统的推荐系统模型和差分隐私方法在非独立同分布数据下的效用、安全问题以及技术上的挑战。基于非独立同分布环境的集中式推荐系统的场景假设,针对该场景下非独立同分布数据受到推理攻击导致隐私泄露的问题进行了详细的阐述与分析。(2)首先针对非独立同分布数据的多种复杂关联性进行了分析和归纳,使用正则化思想将非独立同分布的多相关性作为先验知识引入到矩阵分解的目标函数中,提出了一种在非独立同分布环境下的多相关性差分隐私矩阵分解方法。其次基于差分隐私的拉普拉斯机制提出了多相关性目标扰动机制,用于保证多相关性差分隐私矩阵分解方法在非独立同分布环境下的隐私安全。最后对多相关性差分隐私矩阵分解模型的隐私安全进行了理论分析和证明,以及对模型算法的时间复杂性进行了分析。(3)依照提出的多相关性差分隐私矩阵分解模型和多相关性目标扰动机制算法,具体设计并实现了该推荐系统。分析了推荐系统的需求并设计了系统的整体架构,同时对系统各个子模块的算法流程步骤进行详尽的描述,在最后分别对推荐系统各个部分和整体的算法复杂度进行了详细的分析。(4)在两个真实数据集Movielens和BookCrossing上进行了测试,通过对比传统矩阵分解和差分隐私对非独立同分布数据的一种直接改进的方法,从不同迭代次数和不同隐私等级方面,说明本文提出的模型能在非独立同分布数据获得更好的推荐效果。同时,对这两个数据稀疏程度不同的数据集,分别对实验的预测结果并做出了预测性能分析,实验结果表明了在更为稀疏的数据集中,本文提出模型的推荐结果精度更高。

关键词：非独立同分布数据推荐系统矩阵分解差分隐私

面向非独立同分布数据的车联网多阶段联邦学习机制

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

计算机研究与发展 2024年

作者：唐晓岚梁煜婷陈文龙首都师范大学信息工程学院

车联网在智慧城市建设中扮演着不可或缺的角色，汽车不仅仅是交通工具，更是大数据时代信息采集和传输的重要载体．随着车辆采集的数据量飞速增长和人们隐私保护意识的增强，如何在车联网环境中确保用户数据安全，防止数据泄露，成为亟... 详细信息

车联网在智慧城市建设中扮演着不可或缺的角色，汽车不仅仅是交通工具，更是大数据时代信息采集和传输的重要载体．随着车辆采集的数据量飞速增长和人们隐私保护意识的增强，如何在车联网环境中确保用户数据安全，防止数据泄露，成为亟待解决的难题．联邦学习采用“数据不动模型动”的方式，为保护用户隐私和实现良好性能提供了可行方案．然而，受限于采集设备、地域环境、个人习惯的差异，多台车辆采集的数据通常表现为非独立同分布（non-independent and identically distributed， non-IID）数据，而传统的联邦学习算法在non-IID数据环境中，其模型收敛速度较慢．针对这一挑战，提出了一种面向non-IID数据的车联网多阶段联邦学习机制，称为FedWO．第1阶段采用联邦平均算法，使得全局模型快速达到一个基本的模型准确度．第2阶段采用联邦加权多方计算，依据各车辆的数据特性计算其在全局模型中的权重，聚合后得到性能更优的全局模型，同时采用传输控制策略，减少模型传输带来的通信开销．第3阶段为个性化计算阶段，车辆利用各自的数据进行个性化学习，微调本地模型，获得与本地数据更匹配的模型．实验采用了驾驶行为数据集进行实验评估，结果表明相较于传统方法，在non-IID数据场景下，FedWO机制保护了数据隐私，同时提高了算法的准确度．

关键词：车联网联邦学习非独立同分布数据隐私保护传输控制

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

面向非独立同分布数据的联邦学习研究进展

小型微型计算机系统 2023年第11期44卷 2442-2449页

作者：郭桂娟田晖皮慧娟贾维嘉彭绍亮王田华侨大学计算机科学与技术学院福建厦门361021 北京师范大学人工智能与未来网络研究院广东珠海519000 北京师范大学-香港浸会大学联合国际学院人工智能与多模态数据处理广东省重点实验室广东珠海519000 湖南大学信息科学与工程学院长沙410000 湖南大学国家超级计算长沙中心长沙410000

在联邦学习中,因数据只需要在终端设备上进行训练而不需要上传到服务器端,从而有效的保证了数据的隐私性和安全性.目前关于联邦学习各方面的研究虽然取得了很大的进展,但是联邦学习中的非独立同分布数据问题仍然是一个难以攻克的难题.... 详细信息

在联邦学习中,因数据只需要在终端设备上进行训练而不需要上传到服务器端,从而有效的保证了数据的隐私性和安全性.目前关于联邦学习各方面的研究虽然取得了很大的进展,但是联邦学习中的非独立同分布数据问题仍然是一个难以攻克的难题.本文对联邦学习中非独立同分布数据方面的研究进行了大量的调研,发现现有的研究主要涉及以下几个方面:性能优化、算法优化、模型优化、通信成本、隐私保护和个性化联邦学习等.为了归纳整理联邦学习中关于非独立同分布数据的相关研究,本文从以上各个方面详细介绍了现阶段联邦学习中有关非独立同分布数据的研究方案;最后分析了联邦学习中非独立同分布数据未来的研究方向,为今后联邦学习的研究指明方向.

关键词：联邦学习非独立同分布数据研究方案研究进展

基于生成对抗网络的联邦学习非独立同分布数据问题研究

在线全文

学校读者我要写书评

暂无评论

基于生成对抗网络的联邦学习非独立同分布数据问题研究

作者：瞿祥谋重庆大学

学位级别：硕士

近年来,随着各行各业数据平台的建设,大数据驱动的机器学习技术推动现实社会逐步走向信息化和智能化,如语音识别、路径导航、人脸识别等。随着人工智能的应用领域的不断扩宽,深度学习技术逐渐发展和完善,传统数据集中式的机器学习引发... 详细信息

近年来,随着各行各业数据平台的建设,大数据驱动的机器学习技术推动现实社会逐步走向信息化和智能化,如语音识别、路径导航、人脸识别等。随着人工智能的应用领域的不断扩宽,深度学习技术逐渐发展和完善,传统数据集中式的机器学习引发社会对个人隐私数据安全的担忧。由于用户隐私数据泄露以及行业竞争私自使用隐私数据等问题频发,政府相继出台法律规定限制隐私数据的流通与共享,造成企业间“数据孤岛”现象,协同隐私数据联合AI建模成为挑战。联邦学习作为一种新型隐私保护的分布式机器学习范式,能够在协同大规模设备共同训练机器学习模型的同时保障用户数据安全,使用户从参与联邦学习训练中获益。本文主要针对联邦学习中数据非独立同分布问题进行研究。联邦学习通过协调不同用户或企业的设备共同训练,设备间数据分布及数据集规模的差异会导致本地建模的参数优化后具有偏差,经由联邦学习协作训练后难以满足全局优化目标,导致模型收敛速度以及模型精确度显著下降。针对非独立同分布数据问题,本文提出一种基于条件生成对抗网络的联邦学习数据增强方法,以提高非独立同分布数据情况下的联邦学习算法性能。本文主要工作如下:(1)通过划分数据集构造模拟非独立同分布数据,通过对比算法在不同数据划分情况下的模型性能,验证了联邦学习算法在非独立同分布数据下存在性能下降及难以收敛到全局最优目标的现象。(2)提出了一种新颖的联邦学习数据增强方法,根据用户本地数据分布作为条件信息,在本地通过条件生成对抗网络模型指导生成数据,减轻用户间的数据分布差异,通过差分隐私加噪的方式保障生成对抗网络训练数据不被泄露。通过在MNIST、CIFAR-10数据集上进行实验验证该方法在非独立同分布数据下能实现稳定的性能提升。(3)设计并实现了基于隐私保护的移动应用个性化推荐算法。提出的应用推荐算法能在保护用户数据不离开本地的情况下学习到全局用户行为特征的共享表示,同时能针对不同用户设备间的非独立同分布行为数据进行个性化建模。采集数据构建真实非独立同分布应用序列数据集Rec4APP,实验验证,该算法在Rec4APP数据集上相较于传统基于独立同分布的算法具有更高的模型预测精度。

关键词：联邦学习生成对抗网络差分隐私非独立同分布数据

非独立同分布工业大数据下联邦动态加权学习方法

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

计算机集成制造系统 2023年第5期29卷 1602-1614页

作者：刘晶朱家豪袁闰萌季海鹏河北工业大学人工智能与数据科学学院天津300400 河北工业大学材料科学与工程学院天津300400 河北省数据驱动工业智能工程研究中心天津300400 天津开发区精诺瀚海数据科技有限公司天津300400 天津师范大学软件学院天津300382

联邦学习在不交换本地数据的情况下可以完成多方协作训练,很好地解决了工业物联网领域数据隐私保护及共享问题。但是传统的联邦学习在面对非独立同分布的工业数据时,会因为局部模型更新导致模型的偏移。针对上述问题,提出非独立同分布... 详细信息

联邦学习在不交换本地数据的情况下可以完成多方协作训练,很好地解决了工业物联网领域数据隐私保护及共享问题。但是传统的联邦学习在面对非独立同分布的工业数据时,会因为局部模型更新导致模型的偏移。针对上述问题,提出非独立同分布工业大数据下联邦动态加权学习方法,该方法分为局部更新和全局聚合两个阶段。在局部更新阶段,利用联邦距离算法消除偏移程度过大的局部模型的影响;在全局聚合阶段,提出动态加权算法,动态的给对全局模型更有利的局部数据分配更大的训练权重。该方法既考虑了局部更新导致的模型偏移程度问题,又兼顾了偏移局部模型对全局模型的影响。通过实验验证了该方法在面对非独立同分布的工业数据时具有良好的效果。

关键词：工业物联网隐私保护联邦学习非独立同分布数据

基于联邦学习的含不平衡样本数据电力变压器故障诊断

在线全文

学校读者我要写书评

暂无评论

电力系统自动化 2023年第10期47卷 145-152页

作者：郭方洪刘师硕吴祥陈博张文安葛其运浙江工业大学信息工程学院浙江省杭州市310014 科润智能控制股份有限公司浙江省衢州市324100

基于海量样本数据的深度神经网络可以显著提升电力变压器的故障诊断效果,但实际环境中各变压器本地数据被“数据孤岛”隔离,难以进行集中式深度训练。联邦学习可以实现多源数据的共同建模,但各变压器的非独立同分布不平衡数据会使算法... 详细信息

基于海量样本数据的深度神经网络可以显著提升电力变压器的故障诊断效果,但实际环境中各变压器本地数据被“数据孤岛”隔离,难以进行集中式深度训练。联邦学习可以实现多源数据的共同建模,但各变压器的非独立同分布不平衡数据会使算法性能严重下降。针对上述问题,提出一种基于联邦学习的含不平衡样本数据电力变压器故障诊断机制。与传统深度学习集中训练方式不同,文中采用多个参与者分布训练方式。每个参与者采用LeNet-5深度神经网络进行本地训练,中央服务器将本地模型进行聚合,同时引入改进的数据共享策略对云端共享数据进行选择性下发,以降低非独立同分布数据的不平衡性。实验结果证明,该机制实现了各变压器独立且不平衡数据的协同训练,对变压器故障类型的诊断精度可达到97%。

关键词：电力变压器故障诊断 LeNet-5网络联邦学习非独立同分布数据

在线全文

学校读者我要写书评

暂无评论

一种基于CutMix的增强联邦学习框架

计算机科学 2023年第S02期50卷 913-920页

作者：王春东杜英琦莫秀良付浩然 “计算机病毒防治技术”国家工程实验室天津300384 “学习型智能系统”教育部工程研究中心天津300384 天津理工大学计算机科学与工程学院天津300384

联邦学习(Federated Learning)的出现解决了传统机器学习中存在的“数据孤岛”问题,能够在保护客户端本地数据隐私的前提下进行集体模型的训练。当客户端数据为独立同分布(Independently Identically Distribution,IID)数据时,联邦学习... 详细信息

联邦学习(Federated Learning)的出现解决了传统机器学习中存在的“数据孤岛”问题,能够在保护客户端本地数据隐私的前提下进行集体模型的训练。当客户端数据为独立同分布(Independently Identically Distribution,IID)数据时,联邦学习能够达到近似于集中式机器学习的精确度。然而在现实场景下,由于客户端设备、地理位置等差异,往往存在客户端数据含有噪声数据以及非独立同分布(Non-IID)的情况。因此,提出了一种基于CutMix的联邦学习框架,即剪切增强联邦学习(CutMix Enhanced Federated Learning,CEFL)。首先通过数据清洗算法过滤掉噪声数据,再通过基于CutMix的数据增强方式进行训练,可以有效提高联邦学习模型在真实场景下的学习精度。在MNIST和CIFAR-10标准数据集上进行了实验,相比传统的联邦学习算法,剪切增强联邦学习在Non-IID数据下对模型的准确率分别提升了23%和19%。

关键词：联邦学习非独立同分布数据数据清洗数据增强显著性检测

在线全文

学校读者我要写书评

暂无评论

动态聚合权重的隐私保护联邦学习框架

网络与信息安全学报 2022年第5期8卷 56-65页

作者：应作斌方一晨张怡文澳门城市大学中国澳门999078 安徽新华学院安徽合肥230000

在非可信中心服务器下的隐私保护联邦学习框架中,存在以下两个问题。①在中心服务器上聚合分布式学习模型时使用固定的权重,通常是每个参与方的数据集大小。然而,不同参与方具有非独立同分布的数据,设置固定聚合权重会使全局模型的效用... 详细信息

在非可信中心服务器下的隐私保护联邦学习框架中,存在以下两个问题。①在中心服务器上聚合分布式学习模型时使用固定的权重,通常是每个参与方的数据集大小。然而,不同参与方具有非独立同分布的数据,设置固定聚合权重会使全局模型的效用无法达到最优。②现有框架建立在中心服务器是诚实的假定下,没有考虑中央服务器不可信导致的参与方的数据隐私泄露问题。为了解决上述问题,基于比较流行的DP-FedAvg算法,提出了一种非可信中心服务器下的动态聚合权重的隐私保护联邦学习DP-DFL框架,其设定了一种动态的模型聚合权重,该方法从不同参与方的数据中直接学习联邦学习中的模型聚合权重,从而适用于非独立同分布的数据环境。此外,在本地模型隐私保护阶段注入噪声进行模型参数的隐私保护,满足不可信中心服务器的设定,从而降低本地参与方模型参数上传中的隐私泄露风险。在数据集CIFAR-10上的实验证明,DP-DFL框架不仅提供本地隐私保证,同时可以实现更高的准确率,相较DP-FedAvg算法模型的平均准确率提高了2.09%。

关键词：联邦学习差分隐私动态聚合权重非独立同分布数据

数据特征和信道状态适配的无线用户联邦学习设计优化方法研究

在线全文

学校读者我要写书评

暂无评论

数据特征和信道状态适配的无线用户联邦学习设计优化方法研究

作者：王靖壹北京邮电大学

学位级别：硕士

联邦学习是一种基于无线网络边缘节点协同训练生成高性能模型的分布式学习范式,可以有效保证用户数据的隐私安全,成为实现第六代移动通信系统网络智能的关键技术。然而,由于无线用户行为存在明显的差异性,各边缘节点所收集的用户数据通... 详细信息

联邦学习是一种基于无线网络边缘节点协同训练生成高性能模型的分布式学习范式,可以有效保证用户数据的隐私安全,成为实现第六代移动通信系统网络智能的关键技术。然而,由于无线用户行为存在明显的差异性,各边缘节点所收集的用户数据通常呈现非独立同分布的特征,这种分布差异导致联邦学习模型出现收敛速度和精度严重恶化等问题。针对此问题,现有研究从数据层面和模型层面提出了多种优化方法,但是要平衡模型性能和通信及计算开销仍然具有挑战性。此外,如何将联邦学习算法应用于非理想信道环境中,有效应对无线用户在反馈模型更新结果时出现的传输中断问题,对于实现无线网络资源高效利用具有重要的研究价值。因此,本论文面向无线用户非独立同分布数据,从数据特征和信道状态适配的角度展开了联邦学习设计优化方法的研究。本论文主要研究工作和创新点可总结如下:第一,本论文设计了一种联合模型集成的无线用户联邦学习数据非独立同分布特征适配方法,并提出了一种联合模型集成的无线用户联邦学习框架。在模型训练阶段,通过形成独立的无线用户分组并执行分组联邦学习机制,来有效减轻每个分组内分布差异对联邦学习模型的影响。在模型推理阶段,通过模型集成机制将所有联邦学习分组模型按照与目标任务的相似性进行合并,以适配目标任务的非独立同分布数据特征,提升集成模型在不同类别特征上的泛化性能。其次,本论文对所提框架的模型推理误差进行了理论分析,推导出集成模型与理想模型在测试集上的推理误差具有上界,并有效表征了组内和组间数据分布差异对模型推理性能的影响。再次,为了设计一种计算高效的数据非独立同分布特征适配的无线用户分组优化方法,本论文将无线用户分组问题建模为联盟形成博弈问题,并提出了一种基于个体效用偏好的联合优化算法,实现联邦学习模型性能和通信及计算开销之间的平衡,同时通过理论分析证明了所提算法可以达到纳什稳定的分组结果。最后,本论文提供了在公共数据集上的仿真结果,相比基线方案模型测试精度平均提升约10%,从而验证所提出无线用户联邦学习数据特征适配方法在非独立同分布用户数据上的显著性能增益。第二,为了在非理想无线网络环境下有效部署联邦学习优化方法,本论文提出了一种联合模型集成的无线用户联邦学习非理想模型更新反馈适配方法,基于信道状态信息降低传输差错对联邦学习模型训练效率和精度性能的影响。首先,通过对无线用户非理想模型更新反馈的理论建模,本论文系统地分析了模型更新反馈中断概率的表达式。其次,本论文提出一种基于非理想模型更新反馈信息的梯度聚合修正方法,利用模型更新反馈中断概率来调整无线用户在梯度聚合时的权重,从而避免无线用户信道状态差异对联邦学习模型训练效率的影响。进一步的,本论文通过理论分析,证明了所提出的梯度聚合修正方法可以保证全局模型更新方向的无偏性,即不会受到传输差错的影响而出现偏移。此外,为了有效表征非理想信道状态对无线用户分组结果的影响,本论文提出一种反馈信道状态适配的无线用户分组优化方法,提升用户分组结果在无线网络中的适配性和灵活性。最后,仿真结果表明所提出的优化方法在不同信道传输条件下可以显著提升联邦学习模型的测试精度,并且相比其它无线用户分组算法可以更有效地克服传输差错的影响,从而适配非理想的信道状态。

关键词：联邦学习非独立同分布数据信道状态模型集成联盟形成博弈