检索结果-南通市图书馆

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

基于联邦迁移学习的推荐系统研究与实现

基于联邦迁移学习的推荐系统研究与实现

作者：郇冲中南财经政法大学

学位级别：硕士

2022年3月国家互联网信息办公室等四部门联合发布了《互联网信息服务算法推荐管理规定》,指出推荐算法需要对个人信息依法予以保密,不得泄露或非法向他人提供。推荐系统为用户在海量数据中提供精准的选择,但在这个过程中会收集到大量的... 详细信息

2022年3月国家互联网信息办公室等四部门联合发布了《互联网信息服务算法推荐管理规定》,指出推荐算法需要对个人信息依法予以保密,不得泄露或非法向他人提供。推荐系统为用户在海量数据中提供精准的选择,但在这个过程中会收集到大量的用户信息。一方面,推荐模型需要大量的有效用户标注数据来进行模型的训练,推荐系统的准确度和个性化程度都与其掌握的个人信息成正比。另一方面从个人信息保护的角度来说,将个人数据上传到推荐服务提供商的服务器上会有可能造成个人信息泄露风险。当用户的个人信息得不到保障,就会造成用户对推荐系统的不信任问题,从而拒绝提供个人信息。针对以上问题,本文首先对比了基于矩阵的推荐算法和基于图的推荐算法的推荐效率选出了表现较好的神经图协同过滤算法(NGCF)。并在此基础上提出了基于联邦迁移学习的神经图协同过滤算法(FTL-NGCF)。使用联邦学习的分布式学习方式来解决模型训练中可能出现的个人信息泄露问题。其次使用迁移学习的方式在相关领域中迁移模型结构,以改进推荐效果。FTL-NGCF使用第三方服务器协调客户端设备进行模型的学习,将本地的训练模型权重聚合到第三方服务器的模型中,以显式方式注入到嵌入过程中。在保障推荐准确率的基础上,实现对用户个人信息的保护。本研究提出的FTL-NGCF算法在遵守数据隐私和数据安全的规定下建立起一个有效的共享机器学习模型。在三个公开数据集以及相同实验条件下实验结果表明,相对于原始的NGCF方法实现了良好的个人信息保护,同时对比基于图的推荐算法实现推荐效率的提升。因而,FTL-NGCF能够在推荐准确性、个人信息保护以及通信成本之间取得良好的平衡,具有实际应用的巨大潜力,并且为实现负责任和智能的个性化推荐系统提供了新的思路。最后,基于FTL-NGCF算法,本研究设计实现电影推荐系统。系统使用的数据来自豆瓣电影网站,该系统基于B/S架构,采用MVC设计模式。系统主要实现根据用户的交互记录来生成电影推荐列表,并且将用户与电影的交互数据反馈给推荐模型。

关键词：联邦迁移学习神经图协同过滤个人信息保护推荐系统

基于实例的联邦迁移学习方法及其差分隐私保护研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于实例的联邦迁移学习方法及其差分隐私保护研究

作者：徐晨阳广西民族大学

学位级别：硕士

联邦学习可以较好地解决传统机器学习的数据孤岛问题,各参与方原始数据无需离开本地即可被用于训练机器学习模型。然而,在现实中,各参与方的数据集在实例空间和特征空间上可能存在较大差异,这给联邦模型的训练带来困难,造成联邦模型预... 详细信息

联邦学习可以较好地解决传统机器学习的数据孤岛问题,各参与方原始数据无需离开本地即可被用于训练机器学习模型。然而,在现实中,各参与方的数据集在实例空间和特征空间上可能存在较大差异,这给联邦模型的训练带来困难,造成联邦模型预测精度下降。此外,联邦模型训练过程中的数据,如梯度、原始本地模型等,可能间接地泄露参与方隐私,需要引入隐私保护策略避免隐私间接泄露。针对上述问题,本文进行了相关研究:(1)针对各参与方的数据集在实例空间和特征空间上可能存在较大差异,使得联邦模型预测精度下降的问题,提出了一种基于实例相似度的联邦迁移学习方法(IS-FTL)。使用边界扩展局部敏感散列算法计算参与方实例的散列值,构建散列表和相似矩阵,进而挖掘各参与方实例之间的相似度。参与方根据实例相似度对本地数据进行加权训练,实现基于实例的联邦迁移学习。使用XGBoost梯度提升树模型实现IS-FTL方法,实验表明,IS-FTL可以提升联邦模型预测精度。(2)针对IS-FTL方法在隐私保护方面的不足,结合树模型隐私保护的要点,提出一种基于差分隐私保护的联邦迁移学习方法(DPFTL)。针对隐私泄露问题,使用差分隐私保护各参与方交换的梯度信息、分支结点分裂过程以及叶子结点输出值。针对差分隐私运用于树模型时,分支结点评分函数和叶子结点输出值的敏感度界限难以确定的问题,该方法引入基于最大梯度的敏感度计算方法。提出一种基于信息熵调整的隐私预算分配策略(EA-APA),对传统隐私预算分配策略进行改进优化。隐私性分析表明,DP-FTL满足-差分隐私保护;实验表明,DP-FTL与EA-APA结合,能够降低模型预测误差,增强稳定性。

关键词：联邦学习联邦迁移学习 XGBoost梯度提升树局部敏感散列差分隐私隐私预算分配

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

贝叶斯网络联邦迁移学习方法研究

贝叶斯网络联邦迁移学习方法研究

作者：周雷吉林大学

学位级别：硕士

随着信息时代的到来,数据的表现形式越来越多样化,推理一种现象发生的可行性不能仅依靠信息拥有者有限的知识水平,需要综合考量各方面的因素,例如判断一个人消费意愿需,不能仅根据他的购买记录,要同时考虑他的购买能力,而这两种数据多... 详细信息

随着信息时代的到来,数据的表现形式越来越多样化,推理一种现象发生的可行性不能仅依靠信息拥有者有限的知识水平,需要综合考量各方面的因素,例如判断一个人消费意愿需,不能仅根据他的购买记录,要同时考虑他的购买能力,而这两种数据多数情况下并不会隶属于同一机构。上述情景便涉及到多机构联合学习的问题,传统的方式是将数据集中起来进行机器学习模型的构建。然而,然而随着国家对隐私保护的逐渐重视,以及隐私保护法律的逐渐完善,机构之间数据的共享变得极为困难。因此,人们不得不寻求一些基于隐私保护的其他方法,联邦学习正是在这种场景下应运而生的,严格来说,联邦学习是属于基于隐私保护的数据挖掘,目的是通过一些隐私保护的技术手段,保证在不泄露用户隐私的情况下,实现各机构的联合学习。贝叶斯网络作为人工智能领域中处理不确定性问题的一种重要工具,目前对于贝叶斯网络的联邦学习方法的研究仍比较有限,主要集中于基于隐私保护的贝叶斯网络学习方法,贝叶斯网络的联邦学习方法虽然仍属于隐私保护层面,但两者存在具象化的差异,联邦学习更在于强调数据不出本地的性质。本文的主要研究为联邦迁移框架下的贝叶斯网络学习,包括贝叶斯网络的结构学习以及参数学习,以下列出了本文的主要工作:1.提出基于改进Voting算法的贝叶斯网络联邦迁移结构学习。传统的Voting算法在应用于贝叶斯网络联邦迁移学习过程中由于无法消除Voting算法在投票后形成的贝叶斯网络中环的存在,而限制每个参与方必需使用K2算法,导致需要节点拓扑排序这样的专家知识,本文提出的基于改进Voting算法的贝叶斯网络的联邦迁移结构学习,引入并改进网络去环算法NOTEARS,使得每个参与方可以自由选择结构学习算法,因此,也不再需要节点序这样的专家知识。实验结果表明,本文的方法相较于集中式学习方法拥有更高的学习准确度。2.提出基于Dirichlet过程-高斯混合模型的贝叶斯网络联邦参数学习方法。在联邦迁移学习的场景下,不仅不同的参与方拥有不同的数据特征空间,而且拥有不同的样本空间,甚至样本数据拥有着不同的分布,面对这样的情况,对贝叶斯网络参数进行简单的加权平均便不再适用。为了解决上述问题,本文提出在贝叶斯网络已知的情况下,利用非参贝叶斯的方法对来自不同参与方的参数进行归类,使模型参数在整体上与每一个参与方更加契合。实验效果表明,通过本文方法进行参数学习要优于只具有单参数的传统方法。

关键词：贝叶斯网络联邦迁移学习非参数贝叶斯方法 Dirichlet过程对偶上升法

面向大数据征信的联邦迁移学习平台的研究与实现

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

面向大数据征信的联邦迁移学习平台的研究与实现

作者：简赫廷北京邮电大学

学位级别：硕士

大数据征信是指通过分析和挖掘海量的征信相关数据,应用机器学习、深度学习等建模方式,对企业和个人的信用状况进行评估和预测的一种征信方式。联邦迁移学习技术结合了联邦学习和迁移学习的特点,可以在数据不出域的前提下实现不同征信... 详细信息

大数据征信是指通过分析和挖掘海量的征信相关数据,应用机器学习、深度学习等建模方式,对企业和个人的信用状况进行评估和预测的一种征信方式。联邦迁移学习技术结合了联邦学习和迁移学习的特点,可以在数据不出域的前提下实现不同征信数据源之间的联合建模,在大数据征信场景下有着良好的应用价值。然而,在联邦迁移学习的实际工程应用中,还存在着模型结构针对性一般、实时性有限;征信大数据类别多、更新快,数据归集难度高;机器学习平台服务部署流程复杂,交互性差的局限。针对上述问题和挑战,本文重点围绕联邦迁移学习建模、征信大数据采集和数据集构建进行研究,设计并构建了面向大数据征信的联邦迁移学习平台。具体研究内容如下:1)构建并实现了一种基于联邦迁移学习的信用风险监测模型。针对数据不出域前提下的联邦建模需求,基于联邦迁移学习框架,应用征信相关的批流一体数据构造了信用风险监测模型,解决了联邦参与方在样本空间和特征空间差异较大条件下的联合建模问题。2)设计并开发了一种支持批流一体的征信数据采集工具。针对多源异构数据采集和预处理的需求,开发了一种支持批流一体的数据采集工具,实现了征信数据的字段映射、全量同步、增量同步和数据预处理功能,降低了征信数据采集和应用的难度,提升了数据质量,解决了联邦建模前的数据采集和数据集准备的问题。3)设计并开发了一个面向大数据征信的联邦迁移学习平台。构建了从数据集成、数据预处理、联邦迁移学习建模、实现模型预测并开放推理接口的全流程服务平台,解决了现有的机器学习平台对数据权限区分不明,对数据同步和数据处理支持不足,构造联邦计算节点时流程复杂的问题。论文成果支撑了国家重点研发计划“大数据征信及智能评估技术”项目标志性成果“大数据征信智能评估与开发服务平台”的建设运营,也为数字经济时代征信机构的产品和服务设计提供了有价值的参考。

关键词：大数据征信联邦迁移学习数据集成机器学习平台

基于使用MapReduce并行的同态加密和梯度选择的联邦迁移学习算法

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

网络空间安全 2021年第Z1期12卷 32-40页

作者：肖林声钱慎一郑州轻工业大学

机器学习的发展依赖大量可用的数据。但是,在现实中数据分布在大量不同的企业和组织中,并且受到很多法律和现实情况的限制,将这些分散在各处的数据合并成一个拥有大量数据的数据集并不现实。为了解决机器学习领域的这一挑战,引入了一个... 详细信息

机器学习的发展依赖大量可用的数据。但是,在现实中数据分布在大量不同的企业和组织中,并且受到很多法律和现实情况的限制,将这些分散在各处的数据合并成一个拥有大量数据的数据集并不现实。为了解决机器学习领域的这一挑战,引入了一个新的算法和框架,称之为联邦迁移学习(Federated Transfer Learning,FTL)。FTL在允许不损害用户隐私的情况下共享知识,并且也允许跨域传输互补知识,因此可以利用源域中丰富的标签,来为目标域建立一个灵活而有效的模型。在联邦迁移学习中,使用了同态加密算法来保证在传输知识时不泄露用户隐私,在提出的安全联邦迁移学习中,使用了并行方法来提升加密速度。在已有的知识基础上,结合了同态加密和Hadoop环境下MapReduce并行框架,提出了基于MapReduce并行同态加密的联邦迁移学习算法,并对该方案的安全性和正确性进行了理论的分析。论文还在联邦迁移学习中,引入了梯度选择算法Top-K,以此来减少通信开销。实验结果表明,基于MapReduce并行同态加密的联邦迁移学习算法,可以更加有效地减少数据加密的时间损耗,训练的准确率和明文训练达到同一水平。

关键词：联邦迁移学习 Hadoop MapReduce 同态加密并行处理 Top-K

同方期刊数据库评论

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

联邦学习综述:概念、技术、应用与挑战

计算机应用 2022年第12期42卷 3651-3662页

作者：梁天恺曾碧陈光广州广电运通金融电子股份有限公司研究总院广州510006 广东工业大学计算机学院广州510006

在强调数据确权以及隐私保护的时代背景下,联邦学习作为一种新的机器学习范式,能够在不暴露各方数据的前提下达到解决数据孤岛以及隐私保护问题的目的。目前,基于联邦学习的建模方法已成为主流并且获得了很好的效果,因此对联邦学习的概... 详细信息

在强调数据确权以及隐私保护的时代背景下,联邦学习作为一种新的机器学习范式,能够在不暴露各方数据的前提下达到解决数据孤岛以及隐私保护问题的目的。目前,基于联邦学习的建模方法已成为主流并且获得了很好的效果,因此对联邦学习的概念、技术、应用和挑战进行总结与分析具有重要的意义。首先,阐述了机器学习的发展历程以及联邦学习出现的必然性,并给出联邦学习的定义与分类;其次,介绍并分析了目前业界认可的三种联邦学习方法:横向联邦学习、纵向联邦学习和联邦迁移学习;然后,针对联邦学习的隐私保护问题,归纳并总结了目前常见的隐私保护技术;此外,还对联邦学习的现有主流开源框架进行了介绍与对比,同时给出了联邦学习的应用场景;最后,展望了联邦学习所面临的挑战和未来的研究方向。

关键词：联邦学习隐私保护横向联邦学习纵向联邦学习联邦迁移学习开源框架

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

基于时空卷积神经网络的流量预测技术研究

基于时空卷积神经网络的流量预测技术研究

作者：李朝北京邮电大学

学位级别：硕士

随着城市化进程的不断加快,不断增加的人口和移动设备数量以及他们显著的流通性造成了交通拥堵以及资源分配困难等一系列问题,给智能城市化系统带来了严峻的挑战。作为智能控制系统的重要组成部分,流量预测技术旨在利用已观测的历史数... 详细信息

随着城市化进程的不断加快,不断增加的人口和移动设备数量以及他们显著的流通性造成了交通拥堵以及资源分配困难等一系列问题,给智能城市化系统带来了严峻的挑战。作为智能控制系统的重要组成部分,流量预测技术旨在利用已观测的历史数据预测未来的流量信息,管理者可根据预测结果进行合理的流量调度,及时应对可能出现的突发情况,从而达到提高管理效率,减少资源浪费的目的。然而实现精确的流量预测是有挑战的,现有的模型难以全面挖掘流量数据的时空特征,并在长期预测中始终保持较高的预测精度,此外现有研究并不能很好的处理多区域协同流量预测中各区域数据差异的问题。本文针对现有时空流量预测模型中遇到的挑战,提出了三种有效的时空流量预测框架:1.提出了一种自适应时空卷积网络模型进行流量预测。该模型主要包含自适应时间卷积和自适应空间卷积两个组件。自适应时间卷积网络利用自适应时间转移矩阵提取历史流量信息,通过给不同时间戳分配不同的特征聚合参数反应其异质性,从而达到同时提高长期和短期预测精度的目的。自适应空间卷积可以在没有任何先验知识的情况下,根据特定的预测任务自适应提取全局空间相关性。2.提出了一种自适应图交叉跳步卷积网络模型进行流量预测。该模型包含交叉跳步卷积和双通道自适应空间卷积两个组件。交叉跳步卷积通过多个并行交叉的卷积核提取时间特征,并通过分配不同的卷积核体现出预测时间戳的差异,从而达到同时提高长期预测和短期预测精度的目的。双通道自适应空间卷积在自适应空间卷积的基础上同时构建趋势部分和周期部分的空间相关性,进一步加强了模型的空间特征提取能力。3.提出了一个基于联邦迁移学习的分布式多区域协同流量预测框架。在利用循环神经网络和图卷积神经网络提取时间和空间特征的基础上,利用联邦迁移学习在高质量区域实现全局模型的聚合,并将训练好的全局模型迁移到低质量区域,从而达到各区域有效协同流量预测的目的。在多个公开数据集中的实验结果表明,自适应时空卷积和自适应图交叉跳步卷积的流量预测精度明显优于现有基线模型,并且实现了在预测范围内所有时间戳都达到了最优预测精度的目的。并且在多区域协同预测框架中,联邦迁移学习在不泄漏数据隐私的情况下实现了各区域的整体预测优化。

关键词：流量预测时空特征图卷积神经网络联邦迁移学习

基于多模型迁移融合的风机集群齿轮箱故障诊断方法研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于多模型迁移融合的风机集群齿轮箱故障诊断方法研究

作者：杨万千哈尔滨工业大学

学位级别：硕士

风力发电机运维在其全生命周期当中占据很大比例，但风电场位置分散、地点偏远，这对风机运行状态的监测和运维造成困难。风电机组齿轮箱内部的诸如轴承等部件因运行过程中的疲劳、重载等因素而更易发生故障，需要进行有效的运行状态监... 详细信息

风力发电机运维在其全生命周期当中占据很大比例，但风电场位置分散、地点偏远，这对风机运行状态的监测和运维造成困难。风电机组齿轮箱内部的诸如轴承等部件因运行过程中的疲劳、重载等因素而更易发生故障，需要进行有效的运行状态监测，以在故障早期精准识别和分析。机组正常工作所能获取的故障数据样本少，数据集呈稀疏状态，这为故障分析造成障碍;不同风机工作在不同环境，其主轴转速和轴上负载等工况不同，这造成原始数据集不同的边缘分布。风电场中多台风机组成一个集群，运行产生的数据所包含信息多余单个机组，但受限于现实硬件等因素制约，原始数据在集群中的传输面临运行和工作效率低的问题，以及在数据管理、调用、处理等方面的效率和成本问题。　　本文以数字驱动的人工智能方法为基础，构造基于对等网络的深度学习模型和框架，并结合联邦学习、迁移学习方法和理论，实现集群内的机器运行状态监测、零部件故障诊断任务和模型优化。针对故障数据稀疏的小样本问题，构造了一个对应于风机集群的对等网络，网络中每个节点对应集群中的一台风机，节点间可实现自由通信，基于协同智能实现信息融合;针对数据传输效率低的问题，分析了故障诊断的任务需求，采取基于模型迁移和融合的方法，不涉及原始数据传输，并使用一个小型、浅层的卷积神经网络实现基本故障特征提取和分类;针对每个节点接收到来自集群中其他节点的信息后，由于不同风机之间的数据异构而造成的域漂移问题，引入迁移学习方法，基于多任务学习构造迁移目标函数，实现多模型并行知识迁移;针对每个节点处进行基于联邦学习的多模型融合时，不同模型训练和迁移过程受到的外界干扰问题，构建了基于动态自适应的离群点监测和模型选取方法及动态权重分配方法，并实现模型融合。本文基于对等网络构建信息融合框架，在实现各节点故障知识挖掘和分析的基础上实现模型融合，并利用凯斯西储大学轴承数据集实现局部有效性验证和超参数确定。这有利于结合不同节点的知识来提升整体模型效果。进一步地，本文方法还可迁移至其他类似的集群化状态监测和故障诊断任务中。　　为验证在复杂工况和数据稀疏条件下本文构建的风机集群内故障诊断方法有效性，基于故障信号测试平台，设置了工况库和故障库，并结合两个库的不同状态展开多组实验，同时与其他经典方法进行对比。实验所得结果表明，本文所构建的方法在面对集群化故障诊断任务时是有效的。

关键词：风机集群齿轮箱故障诊断协同智能联邦迁移学习深度学习