检索结果-南通市图书馆

探索中文预训练模型的混合粒度编码和IDF遮蔽

在线全文

学校读者我要写书评

暂无评论

中文信息学报 2024年第1期38卷 57-64页

作者：邵云帆孙天祥邱锡鹏复旦大学计算机科学技术学院上海200433

目前大多数中文预训练语言模型采用字级别编码,因为字符级编码序列长而产生大量计算开销。词级别编码尽管能够缓解这一问题,但也会带来其他问题,如词典外词、数据稀疏等。针对中文不同粒度的编码,该文提出使用混合粒度编码的中文预训练... 详细信息

目前大多数中文预训练语言模型采用字级别编码,因为字符级编码序列长而产生大量计算开销。词级别编码尽管能够缓解这一问题,但也会带来其他问题,如词典外词、数据稀疏等。针对中文不同粒度的编码,该文提出使用混合粒度编码的中文预训练模型。这一编码所用的词表在大规模预训练语料上得到,因此缓解了词典外词和数据稀疏问题。为了更进一步增强模型性能,该文提出了一种选择性的遮蔽语言建模训练策略——IDF遮蔽。这一策略基于词在大规模预训练语料上统计的逆文档频率。实验表明,与之前的中文预训练语言模型相比,该文所提出方法预训练的模型在多个中文自然语言数据集上取得了更好或相当的性能,并且能更高效地编码文本。

关键词：中文预训练混合粒度编码 IDF遮蔽

在线全文

学校读者我要写书评

暂无评论

大型语言模型:原理、实现与发展

计算机研究与发展 2024年第2期61卷 351-361页

作者：舒文韬李睿潇孙天祥黄萱菁邱锡鹏复旦大学计算机科学技术学院上海200433

近年来,大型语言模型的出现和发展对自然语言处理和人工智能领域产生了变革性影响.随着不断增大模型参数量和训练数据量,语言模型的文本建模困惑度以可预测的形式降低,在各类自然语言处理任务上的表现也持续提升.因此,增加语言模型的参... 详细信息

近年来,大型语言模型的出现和发展对自然语言处理和人工智能领域产生了变革性影响.随着不断增大模型参数量和训练数据量,语言模型的文本建模困惑度以可预测的形式降低,在各类自然语言处理任务上的表现也持续提升.因此,增加语言模型的参数和数据规模成为提升系统智能水平富有前景的途径.首先回顾了大型语言模型的基本定义,从模型表现和算力需求的角度给出了“大型”语言模型的界定标准.其次,从数据、算法、模型3个维度梳理了大型语言模型的发展历程及规律,展示了不同阶段各个维度的规模化如何推动语言模型的发展.接着,考察了大型语言模型所表现出的涌现能力,介绍了思维链、情景学习和指令遵循等关键涌现能力的相关研究和应用现状.最后,展望了大型语言模型的未来发展和技术挑战.

关键词：自然语言处理神经网络大型语言模型预训练对齐

在线全文

学校读者我要写书评

暂无评论

亦正亦邪大模型——大模型与安全专题导读

计算机研究与发展 2024年第5期61卷 1085-1093页

作者：虎嵩林李涓子秦兵邱锡鹏刘知远中国科学院信息工程研究所清华大学哈尔滨工业大学复旦大学

2022年底以来,以ChatGPT为代表的大模型飞速发展,正在成为驱动新质生产力发展的新动能、人类探索未知的新工具.在显著提升人工智能(artificial intelligence, AI)模型通用理解和生成能力的同时,也带来了前所未有的安全风险.本专题聚焦... 详细信息

2022年底以来,以ChatGPT为代表的大模型飞速发展,正在成为驱动新质生产力发展的新动能、人类探索未知的新工具.在显著提升人工智能(artificial intelligence, AI)模型通用理解和生成能力的同时,也带来了前所未有的安全风险.本专题聚焦“大模型与安全”主题.

关键词：人工智能生成能力安全风险

InstructGPT在命名实体识别任务中的表现和挑战

在线全文

学校读者我要写书评

暂无评论

中文信息学报 2024年第1期38卷 74-85页

作者：孙瑜颜航邱锡鹏王定牟小峰黄萱菁复旦大学计算机科学技术学院上海200433 美的集团AI创新中心广东佛山528311

当前,关于大规模语言模型,例如,InstructGPT的研究主要聚焦在自由形式生成任务上,而忽略了在结构化抽取任务上的探索。为了让未来的工作在结构化抽取任务上有一个全面的认知,该文在零样本和少样本设定下,全面分析了InstructGPT在基础的... 详细信息

当前,关于大规模语言模型,例如,InstructGPT的研究主要聚焦在自由形式生成任务上,而忽略了在结构化抽取任务上的探索。为了让未来的工作在结构化抽取任务上有一个全面的认知,该文在零样本和少样本设定下,全面分析了InstructGPT在基础的结构化抽取任务,命名实体识别上的表现。为了让结论更加可靠,该文的实验同时包含了生物医学领域和通用领域的常规和嵌套数据集。实验结果表明,InstructGPT在零样本学习上的性能只能达到微调小规模语言模型的11%~56%,增加少量样本也最多只能提升至72%。为了探究InstructGPT在命名实体识别上表现性能不佳的原因,该文通过分析模型的输出,发现接近50%的句子都存在无效生成的问题。另外,由于无效生成会同时导致“虚假错误预测”和“虚假正确预测”,解决生成无效问题并不能保证性能的提升。此外,InstructGPT抽取嵌套实体的能力还是有待提高,抽取嵌套实体的比例也偏低。因此,用InstructGPT解决命名实体识别任务,除了要保证生成的有效性,还需要更加深入地研究才能找到行之有效的方法。

关键词：大规模语言模型命名实体识别上下文学习思维链

利用两样本孟德尔随机化方法探究复方口服避孕药与乳腺癌发病风险的关系

在线全文

学校读者我要写书评

暂无评论

现代肿瘤医学 2024年第11期32卷 2020-2024页

作者：邓佳琳江涛石玉琳邱锡鹏许家佗上海中医药大学中医学院上海201203 复旦大学计算机学院上海200433

目的:利用两样本孟德尔随机化方法探究评估抗复方口服避孕药(combined oral contraceptive,COC)对乳腺癌风险的影响。方法:对基于与COC高度相关的单核苷酸多态性的全基因组关联研究的合并数据进行二次数据分析,并选择雌激素和孕激素水... 详细信息

目的:利用两样本孟德尔随机化方法探究评估抗复方口服避孕药(combined oral contraceptive,COC)对乳腺癌风险的影响。方法:对基于与COC高度相关的单核苷酸多态性的全基因组关联研究的合并数据进行二次数据分析,并选择雌激素和孕激素水平作为工具变量,分别采用逆方差加权、MR-Egger回归和加权中位数方法进行两样本孟德尔随机化分析,以评估COC、雌激素及孕激素与乳腺癌和ER^(+)/ER^(-)乳腺癌之间的关联。我们分别采用逆方差加权、MR-Egger回归和加权中位数方法进行两样本孟德尔随机化分析。最后进行敏感性分析来评估结果的稳定性和可靠性。结果:逆方差加权、MR-Egger回归和加权中位数方法三种方法均显示COC的使用与乳腺癌(包括ER^(+)/ER^(-)乳腺癌)的发生无显著风险关联(P均>0.05)。结论:孟德尔随机化结果显示COC的使用与乳腺癌发病风险之间无关。

关键词：复方口服避孕药雌激素乳腺癌孟德尔随机化

在线全文

学校读者我要写书评

暂无评论

解剖大型语言模型：原理、应用及影响

探索与争鸣 2023年第5期 10-12页

作者：邱锡鹏复旦大学Mosschat团队复旦大学计算机科学技术学院

ChatGPT所展现出来的令人惊艳的对话理解与表达能力，让越来越多的人意识到人工智能已经迎来了全新的里程碑，并且有望成为一个至关重要的基座系统，其以前所未有的速度渗透各行各业，持续引爆未来世界的数字经济体系。ChatGPT背后的技...

ChatGPT所展现出来的令人惊艳的对话理解与表达能力，让越来越多的人意识到人工智能已经迎来了全新的里程碑，并且有望成为一个至关重要的基座系统，其以前所未有的速度渗透各行各业，持续引爆未来世界的数字经济体系。ChatGPT背后的技术原理ChatGPT背后的技术原理到底是什么呢？在正式解答这个问题之前，我们有必要先了解一下“语言模型”，即利用计算机去重新建模人类语言，

关键词：

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

邱锡鹏【油画作品】

艺术百家 2013年第S2期29卷 470-470页

作者：邱锡鹏中国艺术研究院

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

邱锡鹏【油画作品】

艺术百家 2013年第A2期29卷 I0014-I0014页

作者：邱锡鹏中国艺术研究院

维普期刊数据库评论

在线全文

维普期刊数据库

学校读者我要写书评

暂无评论

关于信息技术驱动未来产业的若干思考

中国科学院院刊 2023年第5期38卷 766-772页

作者：包云岗刘淼陆品燕邱锡鹏须江中国科学院计算技术研究所北京100190 中国科学院物理研究所北京100190 松山湖材料实验室东莞523808 上海财经大学信息管理与工程学院上海200433 复旦大学计算机科学技术学院上海200433 香港科技大学(广州)微电子学域广州511455

党的二十大为新一代信息技术产业指明了方向,要以推动高质量发展为主题,构建新一代信息技术产业新的增长引擎。信息技术领域市场巨大,技术竞争激烈,比传统产业更具垄断性和技术排他性。人工智能、数据驱动和算力已经在科学界引起了巨大... 详细信息

党的二十大为新一代信息技术产业指明了方向,要以推动高质量发展为主题,构建新一代信息技术产业新的增长引擎。信息技术领域市场巨大,技术竞争激烈,比传统产业更具垄断性和技术排他性。人工智能、数据驱动和算力已经在科学界引起了巨大的变革。形成新的技术体系必须把握住新应用出现时的宝贵机遇。随着新一轮科技革命和产业变革突飞猛进、科研范式发生深刻变革,把握当前信息技术发展的机遇期,对于加快构建新发展格局、加快建设科技强国具有重要意义。

关键词：信息技术人工智能机遇未来产业学科交叉