检索结果-南通市图书馆

在线全文

学校读者我要写书评

暂无评论

大型语言模型:原理、实现与发展

计算机研究与发展 2024年第2期61卷 351-361页

作者：舒文韬李睿潇孙天祥黄萱菁邱锡鹏复旦大学计算机科学技术学院上海200433

近年来,大型语言模型的出现和发展对自然语言处理和人工智能领域产生了变革性影响.随着不断增大模型参数量和训练数据量,语言模型的文本建模困惑度以可预测的形式降低,在各类自然语言处理任务上的表现也持续提升.因此,增加语言模型的参... 详细信息

近年来,大型语言模型的出现和发展对自然语言处理和人工智能领域产生了变革性影响.随着不断增大模型参数量和训练数据量,语言模型的文本建模困惑度以可预测的形式降低,在各类自然语言处理任务上的表现也持续提升.因此,增加语言模型的参数和数据规模成为提升系统智能水平富有前景的途径.首先回顾了大型语言模型的基本定义,从模型表现和算力需求的角度给出了“大型”语言模型的界定标准.其次,从数据、算法、模型3个维度梳理了大型语言模型的发展历程及规律,展示了不同阶段各个维度的规模化如何推动语言模型的发展.接着,考察了大型语言模型所表现出的涌现能力,介绍了思维链、情景学习和指令遵循等关键涌现能力的相关研究和应用现状.最后,展望了大型语言模型的未来发展和技术挑战.

关键词：自然语言处理神经网络大型语言模型预训练对齐

在线全文

学校读者我要写书评

暂无评论

面向视频的细粒度多模态实体链接

软件学报 2024年第3期35卷 1140-1153页

作者：赵海全王续武李金亮李直旭肖仰华复旦大学计算机科学技术学院上海201203 上海市数据科学重点实验室(复旦大学) 上海201203 苏州大学计算机科学与技术学院江苏苏州215006

随着互联网和大数据的飞速发展,数据规模越来越大,种类也越来越多.视频作为其中重要的一种信息方式,随着近期短视频的发展,占比越来越大.如何对这些大规模视频进行理解分析,成为学界关注的热点.实体链接作为一种背景知识补全方式,可以... 详细信息

随着互联网和大数据的飞速发展,数据规模越来越大,种类也越来越多.视频作为其中重要的一种信息方式,随着近期短视频的发展,占比越来越大.如何对这些大规模视频进行理解分析,成为学界关注的热点.实体链接作为一种背景知识补全方式,可以提供丰富的外部知识.视频上的实体链接可以有效地帮助理解视频内容,从而实现对视频内容的分类、检索、推荐等.但是现有的视频链接数据集和方法的粒度过粗,因此提出面向视频的细粒度实体链接,并立足于直播场景,构建了细粒度视频实体链接数据集.此外,依据细粒度视频链接任务的难点,提出利用大模型抽取视频中的实体及其属性,并利用对比学习得到视频和对应实体的更好表示.实验结果表明,该方法能够有效地处理视频上的细粒度实体链接任务.

关键词：细粒度视频实体链接数据集大语言模型对比学习

GPT系列大语言模型在自然语言处理任务中的鲁棒性

在线全文

学校读者我要写书评

暂无评论

计算机研究与发展 2024年第5期61卷 1128-1142页

作者：陈炫婷叶俊杰祖璨许诺桂韬张奇复旦大学计算机科学技术学院上海200433 复旦大学现代语言学研究院上海200433

大语言模型(large language models,LLMs)所展现的处理各种自然语言处理(natural language processing,NLP)任务的能力引发了广泛关注.然而,它们在处理现实中各种复杂场景时的鲁棒性尚未得到充分探索,这对于评估模型的稳定性和可靠性尤... 详细信息

大语言模型(large language models,LLMs)所展现的处理各种自然语言处理(natural language processing,NLP)任务的能力引发了广泛关注.然而,它们在处理现实中各种复杂场景时的鲁棒性尚未得到充分探索,这对于评估模型的稳定性和可靠性尤为重要.因此,使用涵盖了9个常见NLP任务的15个数据集(约147000个原始测试样本)和来自TextFlint的61种鲁棒的文本变形方法分析GPT-3和GPT-3.5系列模型在原始数据集上的性能,以及其在不同任务和文本变形级别(字符、词和句子)上的鲁棒性.研究结果表明,GPT模型虽然在情感分析、语义匹配等分类任务和阅读理解任务中表现出良好的性能,但其处理信息抽取任务的能力仍较为欠缺,比如其对关系抽取任务中各种关系类型存在严重混淆,甚至出现“幻觉”现象.在鲁棒性评估实验中,GPT模型在任务层面和变形层面的鲁棒性都较弱,其中,在分类任务和句子级别的变形中鲁棒性缺乏更为显著.此外,探究了模型迭代过程中性能和鲁棒性的变化,以及提示中的演示数量和演示内容对模型性能和鲁棒性的影响.结果表明,随着模型的迭代以及上下文学习的加入,模型的性能稳步提升,但是鲁棒性依然亟待提升.这些发现从任务类型、变形种类、提示内容等方面揭示了GPT模型还无法完全胜任常见的NLP任务,并且模型存在的鲁棒性问题难以通过提升模型性能或改变提示内容等方式解决.通过对gpt-3.5-turbo的更新版本、gpt-4模型,以及开源模型LLaMA2-7B和LLaMA2-13B的性能和鲁棒性表现进行对比,进一步验证了实验结论.鉴于此,未来的大模型研究应当提升模型在信息提取以及语义理解等方面的能力,并且应当在模型训练或微调阶段考虑提升其鲁棒性.

关键词：鲁棒性 GPT模型大语言模型自然语言处理可靠性

在线全文

学校读者我要写书评

暂无评论

基于深度学习的自然语言处理鲁棒性研究综述

计算机学报 2024年第1期47卷 90-112页

作者：桂韬奚志恒郑锐刘勤马若恬伍婷包容张奇复旦大学现代语言学研究院上海200433 复旦大学计算机科学技术学院上海200433

近年来,基于深度神经网络的模型在几乎所有自然语言处理任务上都取得了非常好的效果,在很多任务上甚至超越了人类.展现了极强能力的大规模语言模型也为自然语言处理模型的发展与落地提供了新的机遇和方向.然而,这些在基准测试集合上取... 详细信息

近年来,基于深度神经网络的模型在几乎所有自然语言处理任务上都取得了非常好的效果,在很多任务上甚至超越了人类.展现了极强能力的大规模语言模型也为自然语言处理模型的发展与落地提供了新的机遇和方向.然而,这些在基准测试集合上取得很好结果的模型在实际应用中的效果却经常大打折扣.近期的一些研究还发现,在测试数据上替换一个相似词语、增加一个标点符号,甚至只是修改一个字母都可能使得这些模型的预测结果发生改变,效果大幅度下降.即使是大型语言模型,也会因输入中的微小扰动而改变其预测结果.什么原因导致了这种现象的发生?深度神经网络模型真的如此脆弱吗?如何才能避免这种问题的出现?这些问题近年来受到了越来越多的关注,诸多有影响力的工作都不约而同地从不同方面讨论了自然语言处理的鲁棒性问题.在本文中,我们从自然语言处理任务的典型范式出发,从数据构建、模型表示、对抗攻防以及评估评价等四个方面对自然语言处理鲁棒性相关研究进行了总结和归纳,并对最新进展进行了介绍,最后探讨了未来的可能研究方向以及我们对自然语言处理鲁棒性问题的一些思考.

关键词：自然语言处理鲁棒性深度学习预训练语言模型对抗攻防

在线全文

学校读者我要写书评

暂无评论

面向链接预测的知识图谱表示学习方法综述

软件学报 2024年第1期35卷 87-117页

作者：杜雪盈刘名威沈立炜彭鑫复旦大学计算机科学技术学院上海201203 上海市数据科学重点实验室(复旦大学) 上海201203

作为人工智能的重要基石,知识图谱能够从互联网海量数据中抽取并表达先验知识,极大程度解决了智能系统认知决策可解释性差的瓶颈问题,对智能系统的构建与应用起关键作用.随着知识图谱技术应用的不断深化,旨在解决图谱欠完整性问题的知... 详细信息

作为人工智能的重要基石,知识图谱能够从互联网海量数据中抽取并表达先验知识,极大程度解决了智能系统认知决策可解释性差的瓶颈问题,对智能系统的构建与应用起关键作用.随着知识图谱技术应用的不断深化,旨在解决图谱欠完整性问题的知识图谱补全工作迫在眉睫.链接预测是针对知识图谱中缺失的实体与关系进行预测的任务,是知识图谱构建与补全中不可或缺的一环.要充分挖掘知识图谱中的隐藏关系,利用海量的实体与关系进行计算,就需要将符号化表示的信息转换为数值形式,即进行知识图谱表示学习.基于此,面向链接预测的知识图谱表示学习成为知识图谱领域的研究热点.从链接预测与表示学习的基本概念出发,系统性地介绍面向链接预测的知识图谱表示学习方法最新研究进展.具体从知识表示形式、算法建模方式两种维度对研究进展进行详细论述.以知识表示形式的发展历程为线索,分别介绍二元关系、多元关系和超关系知识表示形式下链接预测任务的数学建模.基于表示学习建模方式,将现有方法细化为4类模型:平移距离模型、张量分解模型、传统神经网络模型和图神经网络模型,并详细描述每类模型的实现方式与解决不同关系元数链接预测任务的代表模型.在介绍链接预测的常用的数据集与评判标准基础上,分别对比分析二元关系、多元关系和超关系3类知识表示形式下,4类知识表示学习模型的链接预测效果,并从模型优化、知识表示形式和问题作用域3个方面展望未来发展趋势.

关键词：知识图谱表示学习链接预测多元关系超关系

基于静态分析的Python第三方库API兼容性问题检测方法

在线全文

学校读者我要写书评

暂无评论

软件学报 2024年

作者：沈阚黄凯锋陈碧欢彭鑫复旦大学计算机科学技术学院

Python丰富的开发生态提供了多种多样的第三方库,极大地提高了开发者的开发效率和质量.第三方库开发者通过对代码底层的封装,使得上层应用开发者只需调用API就可以使用相关功能,从而快速完成开发任务.然而,第三方库API不会保持恒定不变... 详细信息

Python丰富的开发生态提供了多种多样的第三方库,极大地提高了开发者的开发效率和质量.第三方库开发者通过对代码底层的封装,使得上层应用开发者只需调用API就可以使用相关功能,从而快速完成开发任务.然而,第三方库API不会保持恒定不变.由于缺陷修复、代码重构、功能新增等,第三方库代码会不断更新.更新后部分API发生了不兼容的更改,从而导致上层应用运行异常终止或者产生不一致的结果.因此, Python第三方库API的兼容性问题已成为目前开源生态中亟需解决的问题之一.目前已有相关研究工作对Python第三方库API兼容性问题展开研究,但兼容性问题原因的分类覆盖不够完全,无法输出兼容性问题的细粒度原因.为此,本文对Python第三方库API兼容性问题的表现形式和产生原因开展了实证研究,并针对性提出了Python不兼容API的静态检测方法.首先,本文针对flask库和pandas库的总共6个版本对,通过收集版本更新日志、运行回归测试相结合的方法,共收集108个不兼容API对.接着,本文对收集到的数据开展实证研究,总结了Python第三方库API兼容性问题的表现形式和产生原因.最后,本文提出了一种基于静态分析技术的Python不兼容API的检测方法,输出句法层面的不兼容API问题产生原因.本文在4个常用Python第三方库的共计12个版本对上进行了实验评估,结果表明本文方法具有良好的有效性、泛化性、时间性能、空间性能、以及易用性.

关键词： Python 静态分析第三方库 API兼容性问题版本演化

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

人工智能大模型发展的新形势及其省思

学术前沿 2024年第13期 33-43页

作者：肖仰华复旦大学计算机科学技术学院

随着相关技术的不断进步,大模型发展呈现出与数据要素深度融合、其日益沉淀为基础设施、发展焦点从底座模型转移至应用生态等新的趋势。针对大模型产业发展呈现出的新态势、新动向,我们要树立大模型发展的全局观和整体观,积极采取加快... 详细信息

随着相关技术的不断进步,大模型发展呈现出与数据要素深度融合、其日益沉淀为基础设施、发展焦点从底座模型转移至应用生态等新的趋势。针对大模型产业发展呈现出的新态势、新动向,我们要树立大模型发展的全局观和整体观,积极采取加快建设人工智能教育体系、建立以智能科学为核心的跨学科研究体系、推动大模型与数据要素协同发展并坚持多元化的大模型发展路径等新的应对举措。作为一种先进技术,大模型具有两面性,我们在积极采取措施促进其良性发展并释放其应用价值的同时,也要密切关注其滥用、误用与恶用所带来的虚假内容泛滥、影响人类心智和能力的发展与培育等负面问题,未雨绸缪积极做好风险治理与管控。

关键词：大模型人工智能风险管控大模型应用落地

在线全文

学校读者我要写书评

暂无评论

深度神经网络模型水印研究进展

上海理工大学学报 2024年第3期46卷 225-242页

作者：谭景轩钟楠郭钰生钱振兴张新鹏复旦大学计算机科学技术学院上海200433

随着深度神经网络在诸多领域的成功应用,以神经网络水印为代表的深度模型知识产权保护技术在近年来受到了广泛关注。对现有的深度神经网络模型水印方法进行综述,梳理了目前为了保护模型知识产权而提出的各类水印方案,按照提取水印时所... 详细信息

随着深度神经网络在诸多领域的成功应用,以神经网络水印为代表的深度模型知识产权保护技术在近年来受到了广泛关注。对现有的深度神经网络模型水印方法进行综述,梳理了目前为了保护模型知识产权而提出的各类水印方案,按照提取水印时所具备的不同条件,将其分为白盒水印、黑盒水印和无盒水印3类方法,并对各类方法按照水印嵌入机制或适用模型对象的不同进行细分,深入分析了各类方法的主要原理、实现手段和发展趋势。然后,对模型水印的攻击方法进行了系统总结和归类,揭示了神经网络水印面对的主要威胁和安全问题。在此基础上,对各类模型水印中的经典方法进行了性能比较和分析,明确了各个方法的优势和不足,帮助研究者根据实际的应用场景选用合适的水印方法,为后续研究提供基础。最后,讨论了当前深度神经网络模型水印面临的挑战,并展望未来可能的研究方向,旨在为相关的研究提供参考。

关键词：深度神经网络知识产权保护神经网络水印白盒水印黑盒水印无盒水印水印攻击模型安全

在线全文

学校读者我要写书评

暂无评论

健壮且自适应的学习型近似查询处理方法研究

计算机工程 2024年第1期50卷 30-38页

作者：乔艺萌荆一楠张寒冰复旦大学软件学院上海200441 复旦大学计算机科学技术学院上海200433

由于在大规模数据集上执行精确查询耗时较长,因此近似查询处理(AQP)技术常被用于在线分析处理,目的是以较短的交互延迟返回查询结果,并尽可能地降低查询误差。现有的学习型AQP方法与底层数据解耦,将I/O密集型计算转化为CPU密集型计算,... 详细信息

由于在大规模数据集上执行精确查询耗时较长,因此近似查询处理(AQP)技术常被用于在线分析处理,目的是以较短的交互延迟返回查询结果,并尽可能地降低查询误差。现有的学习型AQP方法与底层数据解耦,将I/O密集型计算转化为CPU密集型计算,但是由于计算资源的限制,该类方法通常基于随机的数据样本进行模型训练,此类训练数据会引起稀有群组缺失问题,导致模型预测准确性不高。针对上述问题,提出一种基于分层样本学习的混合型和积网络模型,并基于该模型设计一种AQP框架。分层样本能够有效避免稀有群组缺失现象,基于该样本训练的模型预测准确性大幅提升。此外,针对数据动态更新的情况,提出一种模型自适应更新策略,使得模型能够及时检测数据偏移现象并自适应地执行更新。实验结果表明,与基于抽样和基于机器学习的AQP方法相比,该模型在真实数据集和合成数据集上的平均相对误差分别约降低18.3%和2.2%,在数据动态更新的场景下,其准确性和查询时延均呈现出良好的稳定性。

关键词：近似查询处理和积网络分层抽样数据偏移自适应更新