检索结果-南通市图书馆

在线全文

学校读者我要写书评

暂无评论

基于代理训练集的属性推理攻击防御方法

计算机学报 2024年第4期47卷 907-923页

作者：董恺蒋驰昊李想凌振杨明东南大学计算机科学与工程学院

本文首次提出针对属性推理攻击的有效防御方法.属性推理攻击可以揭示出用于训练公开模型的原始私有数据集中的隐私属性信息.现有研究已经针对不同的机器学习算法提出了多种属性推理攻击.这些攻击很难防御,一方面原因是训练有素的模型总... 详细信息

本文首次提出针对属性推理攻击的有效防御方法.属性推理攻击可以揭示出用于训练公开模型的原始私有数据集中的隐私属性信息.现有研究已经针对不同的机器学习算法提出了多种属性推理攻击.这些攻击很难防御,一方面原因是训练有素的模型总是会记住训练数据集中的显性和隐性全局属性,另一方面原因在于模型提供者无法事先知道哪些属性将受到攻击从而难以有针对性地进行防御.为了解决这个问题,本文提出了一种通用的隐私保护模型训练方法,名为PPMT(Privacy Preserving Model Training).它以迭代的方式工作.在每次迭代中,PPMT构建一个代理数据集,并在该数据集而不是私有数据集上训练模型.虽然每次迭代会同时导致隐私性的提升和功能性的降低,但隐私性的提升呈快速指数级,而功能性的降低则是缓慢线性的.经过多次迭代,PPMT在模型功能性的约束下最大化全局属性的隐私性,并生成最终的模型.本文选择了两种代表性的机器学习算法和三个典型的数据集来进行实验评估PPMT所训练出模型的功能性、隐私性和鲁棒性.结果显示,使用PPMT训练出的模型,在全局属性上会以不同速度朝不同方向改变,在功能性上的平均损失为1.28%,在超参数α保密的情况下被可能攻击倒推的成功率仅有22%～33%.这说明,PPMT不仅能保护私有数据集的全局属性隐私性,而且能保证模型有足够的功能性,以及面对可能攻击的鲁棒性.

关键词：人工智能安全属性推理攻击全局属性隐私隐私增强代理数据集

一种用于解析问答推理过程的多轮迭代检索算法研究

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

数据分析与知识发现 2024年第3期8卷 120-131页

作者：周长顺应文豪钟珊龚声蓉苏州大学计算机科学与技术学院苏州215008 常熟理工学院计算机科学与工程学院常熟215500

【目的】针对当前阅读理解类问答推理过程中传统无监督检索方式句子关联性不足的问题,设计一种检索模型,研究问答任务的推理过程,探求问答任务的可解释性。【方法】提出一种新型无监督检索模型ISR,模型中融合皮尔逊相关系数、GloVe词嵌... 详细信息

【目的】针对当前阅读理解类问答推理过程中传统无监督检索方式句子关联性不足的问题,设计一种检索模型,研究问答任务的推理过程,探求问答任务的可解释性。【方法】提出一种新型无监督检索模型ISR,模型中融合皮尔逊相关系数、GloVe词嵌入、IDF加权等主要模块,ISR模型通过多轮迭代方式细粒度检索推理句。【结果】对比模型MSSwQ,ISR模型在MultiRC数据集上进行实验,P、R、F_(1)指标平均高出2.4、1.8、2.1个百分点;在HotPotQA数据集上进行实验,P、R、F_(1)指标平均高出4.8、2.6、3.7个百分点。【局限】检索采用硬匹配,可能存在过分匹配的情形。【结论】本文模型能够提升检索推理句的准确性,检索的推理句能够有效应用于问答任务的推理过程。

关键词：阅读理解问答无监督框架多轮迭代问答推理推理句检索

在线全文

学校读者我要写书评

暂无评论

互联网体系结构的研究与思考

电子学报 2024年第1期52卷 373-384页

作者：任丰原清华大学计算机科学与技术系北京100084

互联网是人类信息社会重要的基础设施,网络体系结构设计是其健康、有序和可持续发展的基础研究课题.本文首先梳理了网络体系结构的定义,概括了互联网发展的现状和面临的主要挑战,分析了网络体系结构研究在应对挑战和促进互联网发展中的... 详细信息

互联网是人类信息社会重要的基础设施,网络体系结构设计是其健康、有序和可持续发展的基础研究课题.本文首先梳理了网络体系结构的定义,概括了互联网发展的现状和面临的主要挑战,分析了网络体系结构研究在应对挑战和促进互联网发展中的意义和作用;然后概略介绍了历史上互联网体系结构相关的研究计划和项目,总结了相关研究成果,重点分析了网络体系结构研究实践中形成的主要观点,对网络体系结构“革命式”和“演进式”的技术路线分别进行了评述;接着分析和总结了近期的相关研究进展和发展趋势;最后结合历史和近期的相关研究,讨论了若干网体系结构研究意义、方法、设想和影响的思考与认识.

关键词：互联网体系结构参考模型可演进

在线全文

学校读者我要写书评

暂无评论

量子计算系统软件研究综述

软件学报 2024年第1期35卷 1-18页

作者：谢磊翟季冬清华大学计算机科学与技术系北京100084

量子计算理论上有望解决诸多经典难解问题,近年来量子计算机的快速发展正推动这一理论进入实践.然而,当前硬件中繁多的错误会造成计算结果出错,严重限制了量子计算机解决实际问题的能力.量子计算系统软件位于应用与硬件之间,充分挖掘系... 详细信息

量子计算理论上有望解决诸多经典难解问题,近年来量子计算机的快速发展正推动这一理论进入实践.然而,当前硬件中繁多的错误会造成计算结果出错,严重限制了量子计算机解决实际问题的能力.量子计算系统软件位于应用与硬件之间,充分挖掘系统软件在硬件错误减缓方面的潜力,对于近期实现有实用价值的量子计算而言至关重要.由此,近期涌现了一批量子计算系统软件研究工作.将这些工作归纳入编译器、运行时系统和调试器3个范畴,通过对它们的分析总结,梳理量子计算系统软件的研究现状,揭示其在硬件错误减缓方面的重要作用.并对未来的研究方向进行展望.

关键词：量子计算系统软件嘈杂中规模量子编译运行时调试

在线全文

学校读者我要写书评

暂无评论

决策树码率自适应算法的无数据蒸馏框架

计算机学报 2024年第1期47卷 113-130页

作者：黄天驰李朝阳张睿霄李文哲孙立峰清华大学计算机科学与技术系北京100084

码率自适应(Adaptive Bit-Rate,ABR)算法是流媒体视频传输中至关重要的技术.该算法根据当前网络情况和播放状态等因素,为下一个视频块选择合适的码率,以确保用户获得良好的体验质量(QoE).其中,基于学习的ABR算法因其不依赖传统模型和从... 详细信息

码率自适应(Adaptive Bit-Rate,ABR)算法是流媒体视频传输中至关重要的技术.该算法根据当前网络情况和播放状态等因素,为下一个视频块选择合适的码率,以确保用户获得良好的体验质量(QoE).其中,基于学习的ABR算法因其不依赖传统模型和从头学习策略的特点,表现出良好的性能,并逐渐取代需要繁琐调优的启发式ABR算法,成为研究领域的热点.然而,这些算法使用神经网络推理,导致模型参数较多,整体计算量较大,使得在实际场景中难以部署.因此,以往的研究提出了决策树蒸馏方案,即使用轻量级的决策树来提取基于学习的ABR算法的专家策略,并在线上部署这些决策树.然而,本文的实验结果表明,过去的蒸馏框架忽略了训练环境对蒸馏后策略的影响,导致策略的泛化能力较差.因此,本文提出了一种名为NIA(data-free Network-environmental Imitationbased rate Adaptation framework)的新型无数据蒸馏框架,用于生成具有更好泛化性能的决策树A BR算法.NIA通过网络环境生成模块构建多个人工网络环境,并在每次迭代训练前使用环境选择模块来选择适合的网络场景,然后与该场景进行交互,利用基于学生驱动的模仿学习算法完成决策树的蒸馏过程.本文还设计了完整的评测平台测试NIA的性能.实验表明,NIA在各种带宽数据集上展现出良好的QoE性能和泛化性能:(1)相较于启发式算法,在QoE指标上提升了1%~46%;(2)与以往的决策树蒸馏方案相比,在低带宽场景下表现相当,但在高带宽场景下提升了近1倍;(3)总体性能接近甚至超过基于学习的算法(即专家策略)的表现.

关键词：流媒体码率自适应算法无数据蒸馏

在线全文

学校读者我要写书评

暂无评论

基于GPU直访存储架构的推荐模型预估系统

计算机研究与发展 2024年第3期61卷 589-599页

作者：谢旻晖陆游游冯杨洋舒继武清华大学计算机科学与技术系北京100084

新型深度学习推荐模型已广泛应用至现代推荐系统,其独有的特征——包含万亿嵌入参数的嵌入层,带来的大量不规则稀疏访问已成为模型预估的性能瓶颈.然而,现有的推荐模型预估系统依赖CPU对内存、外存等存储资源上的嵌入参数进行访问,存在... 详细信息

新型深度学习推荐模型已广泛应用至现代推荐系统,其独有的特征——包含万亿嵌入参数的嵌入层,带来的大量不规则稀疏访问已成为模型预估的性能瓶颈.然而,现有的推荐模型预估系统依赖CPU对内存、外存等存储资源上的嵌入参数进行访问,存在着CPU-GPU通信开销大和额外的内存拷贝2个问题,这增加了嵌入层的访存延迟,进而损害模型预估的性能.提出了一种基于GPU直访存储架构的推荐模型预估系统GDRec.GDRec的核心思想是在嵌入参数的访问路径上移除CPU参与,由GPU通过零拷贝的方式高效直访内外存资源.对于内存直访,GDRec利用统一计算设备架构(compute unified device architecture,CUDA)提供的统一虚拟地址特性,实现GPU核心函数(kernel)对主机内存的细粒度访问,并引入访问合并与访问对齐2个机制充分优化访存性能;对于外存直访,GDRec实现了一个轻量的固态硬盘(solid state disk,SSD)驱动程序,允许GPU从SSD中直接读取数据至显存,避免内存上的额外拷贝,GDRec还利用GPU的并行性缩短提交I/O请求的时间.在3个点击率预估数据集上的实验表明,GDRec在性能上优于高度优化后的基于CPU访存架构的系统NVIDIA HugeCTR,可以提升多达1.9倍的吞吐量.

关键词： GPU直访存储参数存储推荐系统预估系统存储系统

从BERT到ChatGPT:大模型训练中的存储系统挑战与技术发展

在线全文

学校读者我要写书评

暂无评论

计算机研究与发展 2024年第4期61卷 809-823页

作者：冯杨洋汪庆谢旻晖舒继武清华大学计算机科学与技术系北京100084

以ChatGPT为代表的大模型在文字生成、语义理解等任务上表现卓越,引起了工业界和学术界的广泛关注.大模型的参数量在3年内增长数万倍,且仍呈现增长的趋势.首先分析了大模型训练的存储挑战,指出大模型训练的存储需求大,且具有独特的计算... 详细信息

以ChatGPT为代表的大模型在文字生成、语义理解等任务上表现卓越,引起了工业界和学术界的广泛关注.大模型的参数量在3年内增长数万倍,且仍呈现增长的趋势.首先分析了大模型训练的存储挑战,指出大模型训练的存储需求大,且具有独特的计算模式、访存模式、数据特征,这使得针对互联网、大数据等应用的传统存储技术在处理大模型训练任务时效率低下,且容错开销大.然后分别阐述了针对大模型训练的3类存储加速技术与2类存储容错技术.针对大模型训练的存储加速技术包括:1)基于大模型计算模式的分布式显存管理技术,依据大模型计算任务的划分模式和计算任务间的依赖关系,设计模型数据在分布式集群中的划分、存储和传输策略;2)大模型训练访存感知的异构存储技术,借助大模型训练中的访存模式可预测的特性,设计异构设备中的数据预取和传输策略;3)大模型数据缩减技术,针对大模型数据的特征,对模型训练过程中的数据进行缩减.针对大模型训练的存储容错技术包括:1)参数检查点技术,将大模型参数存储至持久化存储介质;2)冗余计算技术,在多张GPU中重复计算相同版本的参数.最后给出了总结和展望.

关键词： ChatGPT 大模型存储系统容错大模型训练系统

在线全文

学校读者我要写书评

暂无评论

云原生数据库综述

软件学报 2024年第2期35卷 899-926页

作者：董昊文张超李国良冯建华清华大学计算机科学与技术系北京100084

云基础设施的虚拟化、高可用、可弹性调度等特点,为云数据库提供了开箱即用、可靠可用、按需计费等优势.云数据库按照架构可以划分为云托管数据库(cloud-hosted database)以及云原生数据库(cloud-native database).云托管数据库将数据... 详细信息

云基础设施的虚拟化、高可用、可弹性调度等特点,为云数据库提供了开箱即用、可靠可用、按需计费等优势.云数据库按照架构可以划分为云托管数据库(cloud-hosted database)以及云原生数据库(cloud-native database).云托管数据库将数据库系统直接部署到云上虚拟机环境中,具备低成本、易运维、高可靠的优势.在此基础上,云原生数据库充分利用云基础设施弹性伸缩的特点,采用计算存储分离的架构,实现了计算资源和存储资源的独立伸缩,进一步提升数据库性价比.然而计算存储分离的架构为数据库系统设计带来了新的挑战.深入分析云原生数据库系统的架构和技术.首先将云原生OLTP和云原生OLAP的数据库架构按照资源分离模式的差异分别进行归类分析,并对比各类架构的优势与局限.其次,基于计算存储分离的架构,按照各个功能模块深入探讨云原生数据库的关键技术:主要包括云原生OLTP关键技术(数据组织、副本一致性、主备同步、故障恢复以及混合负载处理)和云原生OLAP关键技术(存储管理、查询处理、无服务器感知计算、数据保护以及机器学习优化).最后,总结现有云原生数据库的技术挑战并展望未来研究方向.

关键词：云原生数据库计算存储分离数据库即服务

在线全文

学校读者我要写书评

暂无评论

一种全面的少标签样本情形下的知识蒸馏方法

数据分析与知识发现 2024年第1期8卷 104-113页

作者：刘彤任欣儒尹金辉倪维健山东科技大学计算机科学与工程学院青岛266590

【目的】针对在自然语言处理中有标签样本稀缺和高性能的大规模参数量模型训练成本高的问题,本文在有标签样本不足情况下,通过知识蒸馏方法,提升在高性能大参数量模型指导下的小参数量模型性能。【方法】通过噪声提纯方法,从无标签数据... 详细信息

【目的】针对在自然语言处理中有标签样本稀缺和高性能的大规模参数量模型训练成本高的问题,本文在有标签样本不足情况下,通过知识蒸馏方法,提升在高性能大参数量模型指导下的小参数量模型性能。【方法】通过噪声提纯方法,从无标签数据中获取有价值的数据并赋予其伪标签,增加有标签样本数量;并在传统蒸馏模型基础上增加知识回顾机制和助教模型,实现从大参数量模型到小参数量模型的全面的知识迁移。【结果】在IMDB、AG_NEWS、Yahoo!Answers数据集的文本分类和情感分析任务上,使用原数据集规模的5%作为有标签数据,准确率表现与使用全部数据训练的传统蒸馏模型分别仅相差1.45%、2.75%、7.28%。【局限】仅针对自然语言处理中的文本分类以及情感分析任务进行实验研究,后续可进一步扩大任务覆盖面。【结论】本文所提方法在少量有标签样本的情形下,实现了较好的蒸馏效果,使得小参数量模型的性能得到显著提升。

关键词：知识蒸馏半监督学习少标签样本文本分类