检索结果-南通市图书馆

基于多模态大语言模型的攻击性模因解释生成方法

在线全文

学校读者我要写书评

暂无评论

计算机研究与发展 2024年第5期61卷 1206-1217页

作者：林萌戴程威郭涛中国科学院信息工程研究所北京100019 中国科学院大学网络空间安全学院北京100049

随着5G的发展,攻击性言论逐渐以多模态的方式在社交网络上广泛传播.因此,攻击性模因的检测与解释生成对于提高内容审核效果、维护和谐健康的舆论场环境有着重要的作用.现有的攻击性模因解释生成研究只关注于攻击对象和攻击内容,忽略了... 详细信息

随着5G的发展,攻击性言论逐渐以多模态的方式在社交网络上广泛传播.因此,攻击性模因的检测与解释生成对于提高内容审核效果、维护和谐健康的舆论场环境有着重要的作用.现有的攻击性模因解释生成研究只关注于攻击对象和攻击内容,忽略了模因包含的社会背景知识和隐喻表达手法,无法全面、准确地解释攻击性模因的含义,大大限制了解释的应用范围.为了应对这一挑战,提出一种基于多模态大模型的攻击性模因解释生成方法,通过增强攻击目标、攻击内容和隐喻识别等多种指令数据,利用其微调多模态大模型,以提升大模型对攻击性模因的解释生成能力.实验结果证实,该方法生成的解释具有3点优势:一是相比基线模型在BERTScore评估指标上提高了19%;二是解释中包含了攻击性隐喻表达的相关背景知识;三是在处理未见的模因数据时也表现出良好的泛化性能.

关键词：攻击性模因解释生成多模态大语言模型数据增强指令微调

在线全文

学校读者我要写书评

暂无评论

多模态大语言模型对开源声像信息研究的影响

国防科技 2024年第3期45卷 73-80,92页

作者：吴叔義郭秀峰侯丽军事科学院军事科学信息研究中心北京100142

开源声像信息研究作为国防科技信息研究的组成部分,在自媒体与短视频爆发的现阶段重要性愈发凸显。大模型浪潮爆发后,深入探析多模态大语言模型对开源声像信息研究工作的影响具有重要意义。通过研究梳理多种多模态大语言模型技术特点和... 详细信息

开源声像信息研究作为国防科技信息研究的组成部分,在自媒体与短视频爆发的现阶段重要性愈发凸显。大模型浪潮爆发后,深入探析多模态大语言模型对开源声像信息研究工作的影响具有重要意义。通过研究梳理多种多模态大语言模型技术特点和应用场景特点,提出在开源声像信息研究中的潜在应用方向,为开源声像信息研究工作提供参考。现阶段多模态大语言模型距离直接落地应用还有差距,但其将是重塑重构声像信息研究工作的重要推手,其生成特性也为开源声像信息研究带来极大挑战,开源声像信息研究进入转型升维的战略机遇期。

关键词：多模态大语言模型开源声像信息人工智能

多模态大语言模型应用于工业数据分类分级的初步研究与思考

在线全文

学校读者我要写书评

暂无评论

工业信息安全 2024年第6期 43-52页

作者：阮子禅包宏宇王文君上海观安信息技术股份有限公司上海200072

在万物互联互通的时代,工业领域数据安全有其独特风险:数据平台化汇聚、工业设备平台产品漏洞未修、工业数据暴露面增加、新兴技术带来新威胁。数据分类分级作为我国数字化进程的关键一环,是帮助企业在数据安全中排列风险优先级,在策略... 详细信息

在万物互联互通的时代,工业领域数据安全有其独特风险:数据平台化汇聚、工业设备平台产品漏洞未修、工业数据暴露面增加、新兴技术带来新威胁。数据分类分级作为我国数字化进程的关键一环,是帮助企业在数据安全中排列风险优先级,在策略战略制定中提供重要依据,是从存储和检索角度提高运营效率、降低成本的重要前置任务。数据分类分级方法通常涉及大量人工干预和静态分类规则。这类方法不仅耗时、人工成本高,且难以有效处理庞大多样且异构的数据集。本文提出了结合多模态大语言模型的混合模型框架,是对新兴技术应用于工业数据分类分级的初步研究与思考,旨在推动工业数据分类分级领域方法创新。

关键词：工业领域数据分类分级多模态大语言模型大模型

基于多模态大语言模型的数字厨师与智能烹饪系统

在线全文

学校读者我要写书评

暂无评论

智能科学与技术学报 2024年第4期6卷 429-444页

作者：李鑫源李柏孙跃硕张坦探田永林殷烛炎王飞跃湖南大学机械与运载工程学院湖南长沙410082 湖南大学整车先进设计制造技术全国重点实验室湖南长沙410082 中国科学院自动化研究所多模态人工智能系统全国重点实验室北京100190 中国科学院自动化研究所复杂系统管理与控制国家重点实验室北京100190 中国科学院大学人工智能学院北京100049 澳门科技大学创新工程学院工程科学系中国澳门999078

面向高质量和精准烹饪的需求,提出一种基于多模态大语言模型的数字厨师与智能烹饪方法。离线阶段利用视觉、声音、温度等多源传感器记录专业厨师的连续操作,将图像与多轮问答文本融合,建立烹饪专家知识库,并采用低秩适配方法对预训练多... 详细信息

面向高质量和精准烹饪的需求,提出一种基于多模态大语言模型的数字厨师与智能烹饪方法。离线阶段利用视觉、声音、温度等多源传感器记录专业厨师的连续操作,将图像与多轮问答文本融合,建立烹饪专家知识库,并采用低秩适配方法对预训练多模态大语言模型进行微调,以构建能够理解烹饪意图的多模态大语言模型。在线阶段将实时感知的数据转换为图文输入微调后的大语言模型,经模型分析后生成烹饪指令,引导用户完成相应的烹饪动作。以煎牛排任务为例,搭建了智能烹饪软硬件系统并进行实验验证。实验结果表明,经过微调后的智能烹饪系统能有效控制牛排的熟度与品质,相较于微调前的模型,显著提升了烹饪指令的合理性和针对性。

关键词：多模态大语言模型数字厨师智能烹饪烹饪机器人专家系统人工智能

在线全文

学校读者我要写书评

暂无评论

开源多模态大语言模型初探

中国传媒科技 2024年第8期 82-85页

作者：刘一闻李彤王宇琦李泽魁郜婕新华通讯社北京100803

【目的】本文旨在总结开源多模态大语言模型(Multimodal Large Language Model,MLLM)的最新进展,探索其在新闻领域的落地实践。【方法】首先,笔者介绍了MLLM的研究背景,对典型的开源和闭源模型在不同测试基准上的表现进行了对比,然后解... 详细信息

【目的】本文旨在总结开源多模态大语言模型(Multimodal Large Language Model,MLLM)的最新进展,探索其在新闻领域的落地实践。【方法】首先,笔者介绍了MLLM的研究背景,对典型的开源和闭源模型在不同测试基准上的表现进行了对比,然后解析了模型架构,包括其组成部分和工作原理,接着探讨了训练策略以及所需要的数据,最后展望了应用场景和研究方向。【结果/结论】通过本文的分析,可以了解到开源MLLM在赶超闭源商业模型上的潜力和发展方向,以及在新闻领域广阔的应用前景,同时为采编业务全流程提供强大的语言理解和生成能力,未来可以结合实际场景开展相关技术的落地实践。

关键词：多模态大语言模型预训练视觉语言模型大语言模型

以GPT-4为例探讨多模态大语言模型对体育科研的影响：冲击、变革与机遇

同方期刊数据库博看期刊评论

在线全文

学校读者我要写书评

暂无评论

以GPT-4为例探讨多模态大语言模型对体育科研的影响：冲击、变革...

第十三届全国体育科学大会

作者：唐伟棣所向李兴洋林正根刘宇上海体育学院

研究目的:目前,多模态大语言模型成为了人工智能领域研究的热点,先进的技术和算法为大规模语言处理、高级任务辅助等应用场景等带来了颠覆式的提升。本研究选择以GPT-4为代表,旨在探讨其在体育科研领域中的应用和发展,并分析其对体育科... 详细信息

研究目的:目前,多模态大语言模型成为了人工智能领域研究的热点,先进的技术和算法为大规模语言处理、高级任务辅助等应用场景等带来了颠覆式的提升。本研究选择以GPT-4为代表,旨在探讨其在体育科研领域中的应用和发展,并分析其对体育科研的影响。主要包括如下几方面内容:首先,分析多模态大语言模型对体育科研的应用需求和现状。当前,体育科研中涉及的数据类型和数量日益增多,对研究方法和技术提出了更高的要求。多模态大语言模型能够通过不同模态数据之间的交互学习和表达,提高数据分析的效率和准确性,因此具备在体育科研领域广泛应用的潜力。其次,研究基于多模态涌现能力的大型语言模型在体育科研中的应用案例。在对体育科研领域中基于多模态涌现能力的大语言模型应用案例进行综述的基础上,本研究将从更加宏观的角度出发,整理多模态大语言模型对体育科研带来的影响,包括其对传统研究方法的冲击、对研究成果的提升和研究人员能力要求的提高等方面。为往后的体育科研人员提供更多的思路和研究视野。研究方法:在本研究中,我们利用文献综述法,系统梳理多模态大语言模型在体育科研中的相关现状、应用领域、研究方法等方面的文献资料,以帮助我们深入了解多模态大语言模型在体育科研中的具体应用和实践;同时采用专家访谈法,找到体育科研领域的专家学者,了解他们对多模态大语言模型在体育科研中的应用情况、发展状况等方面的看法,进一步发掘体育科研领域的实际应用场景,在实践中检验本文的研究结论和观点;在收集完毕相关数据后,采用统计学分析方法,对数据进行整理、分析和解释,得出科学结论。在本研究中,我们进行定量数据的统计分析,通过数据分析方法验证实验结果的相关性和可靠性,为后续的研究提供必要的统计学支持。研究结果:一、大语言模型对体育科研的冲击和创新:多模态大语言模型GPT-4的出现,为体育科研提供了新的创新思路和实践途径。该技术的应用,可以有效降低体育科研数据的处理成本和时间成本,提高数据准确性和可信度。同时,大语言模型的信息提取和处理能力,可以为体育科研提供更精准的数据挖掘和分析能力,为体育科研提供更高效的创新支持。多模态大语言模型的崛起,将会对传统体育科研带来巨大的冲击和改变,推动体育科研的数字化、信息化、智能化进程,促进体育科研走向更加精准、高效和绿色的发展道路。二、知识中心化对信息主权的影响:在多模态大语言模型的发展和应用过程中,逐渐形成了以几家知名机构、企业为中心的知识中心,这将会对信息主权产生深刻的影响。在这些知识中心的掌握下,这些企业和机构将拥有更多的信息积累和知识储备,具有更强的话语权和信息决策权。这样的趋势无疑加剧了信息主权的不平衡,需要各界通过合作共赢,开展科技创新,打通信息壁垒,助力信息主权公平化和知识共享。三、多模态大语言模型的应用现状和趋势:目前,多模态大语言模型应用在体育科研中的主要领域包括竞技分析、球员数据分析、职业生涯规划、场馆管理等方面。随着多模态大语言模型技术的不断更新和发展,其应用范围还将进一步拓展,其应用模式与形式也将更加多样和灵活。未来,多模态大语言模型有望在体育场馆的建设和设计、赛事运营和广电媒体等多个方向为体育产业的良性发展提供有力的支持。综上,多模态大语言模型在体育科研中发挥重要作用,其应用也正日益广泛。随着多模态大语言模型技术不断更新,它的应用价值和市场前景还将更加广阔,并将成为推动体育科技创新和推进体育产业转型升级的重要力量。研究结论:可以发现,多模态大语言模型将成为体育科研的重要支撑,其在竞技分析、球员数据分析、职业生涯规划、场馆管理等领域发挥着重要作用,能够提高数据处理效率和数据分析精度,促进体育科研的数字化、信息化和智能化。同时,多模态大语言模型的应用也存在一定的风险和挑战,可能造成信息主权不平衡和知识中心化。为了充分发挥多模态大语言模型在体育科研中的优势,我们需要加强技术研发,拓展应用场景,推动技术创新和产业升级。同时,还需要构建一个公平、开放、包容的知识共享平台,打通信息壁垒,促进信息主权公平化,实现知识的高效流通和共享。这样才能够更好地推进体育科技创新和推动体育产业的高质量发展。

关键词：多模态大语言模型通用人工智能信息主权知识中心化

来源： cnki会议评论

在线全文

cnki会议

学校读者我要写书评

暂无评论

图表问答研究综述

数据与计算发展前沿(中英文) 2025年第1期7卷 19-37页

作者：马秋平张琪赵晓凡中国人民公安大学信息网络安全学院北京100038

【目的】本文旨在全面综述图表问答(CQA)技术的研究进展,分析现有模型和方法,并探讨未来发展方向。【方法】首先将CQA模型分为两大类:基于深度学习和基于多模态大模型。针对基于深度学习的方法,本文进一步细分为端到端模型和两阶段模型... 详细信息

【目的】本文旨在全面综述图表问答(CQA)技术的研究进展,分析现有模型和方法,并探讨未来发展方向。【方法】首先将CQA模型分为两大类:基于深度学习和基于多模态大模型。针对基于深度学习的方法,本文进一步细分为端到端模型和两阶段模型。随后,深入分析了基于深度学习的CQA任务的三个核心流程,并对各个流程现有的处理方法进行了详细的分类和深入的分析。本文还探讨了基于多模态大模型的CQA模型,分析了其优势、局限性以及未来发展方向。【结果】本文全面总结了CQA技术的研究现状,并对现有模型和方法进行了深入分析。本文发现,基于深度学习的CQA模型在处理标准图表类型和简单任务时表现优异,但在面对复杂、非标准化图表或需要深度推理的任务时仍显不足。而基于多模态大模型的CQA模型则展现出巨大的潜力,但模型性能的提升往往伴随着模型规模和计算复杂度的增加。未来研究应聚焦于开发更轻量化的问答模型,并提升模型的可解释性。

关键词：图表问答视觉问答深度学习多模态大语言模型

在线全文

学校读者我要写书评

暂无评论

大语言模型在电催化领域中的应用

Chinese Journal of Catalysis 2024年第4期59卷 7-14页

作者：张成翼王兴宇王子运奥克兰大学化学院新西兰奥克兰

大语言模型作为现代科技的杰出代表,已经在社会的各个领域产生了深远影响.这些模型由数十亿个神经元相互连接构建而成,集成了人类至今为止的丰富知识,具备与全球各地人们进行流畅、精确对话的卓越能力.其类人智能特性不仅使其能够应对... 详细信息

大语言模型作为现代科技的杰出代表,已经在社会的各个领域产生了深远影响.这些模型由数十亿个神经元相互连接构建而成,集成了人类至今为止的丰富知识,具备与全球各地人们进行流畅、精确对话的卓越能力.其类人智能特性不仅使其能够应对现代社会的各种挑战,更在多个科学领域中展现出巨大的应用前景.然而,目前大语言模型广泛应用的潜力尚未被完全挖掘.本文旨在深入探讨现代大语言模型在电催化领域的潜在应用,以期阐明这些人工智能驱动的模型如何助力科研人员深化对催化学科的理解,并推动催化剂的智能设计.通过对大语言模型在电催化领域应用的系统研究,我们期望能够为未来的科研工作提供新的思路和方法.本文首先分析了传统的实验法和多尺度模拟方法在催化研究中的局限性,包括资源消耗大、实验周期长、研究进展缓慢以及受人类自身能力限制等问题.随后,着重探讨了大语言模型在电催化研究中的显著优势,如突破人类认知界限、理论上具备无限知识累积能力等.尽管大语言模型展现出巨大的潜力,但仍面临泛化能力与领域专业性之间的权衡、文本限制等挑战.为应对这些挑战,本文进一步介绍了多模态大语言模型的发展及其在电催化研究中的具体应用,包括与实验者的直接互动、基于实验反馈的持续优化、预训练模型的微调以及结合视觉编码器实现多模态数据融合等.最后,强调了多模态大语言模型在光谱分析、实验路径设计、过渡状态搜索、分子结构设计、催化剂优化和问题诊断等方面的巨大潜力.总之,多模态方法在催化领域具有广泛的应用前景,能够整合多种数据源,为催化剂设计、反应机理研究和反应条件优化提供强大的工具和技术支持.最后,本文展望了大语言模型在科学研究中的作用和未来发展趋势.大语言模型在知识积累和效率提升方面展现出了出色的能力,但在创造全新知识方面,或许还无法与科学先驱相提并论.展望未来,大语言模型应当与实验和模拟方法深度融合,以增强其预测能力和多模态学习能力.通过这样的结合,大语言模型将能够更全面地辅助科学研究者,进而推动科学研究更迅速地发展.这一发展趋势不仅有助于提升科学研究的效率和准确性,还将为科学领域带来更多的创新和突破.

关键词：大语言模型电催化人工智能多模态大语言模型

在线全文

学校读者我要写书评

暂无评论

平行旅游:基础智能驱动的智慧出游服务

智能科学与技术学报 2024年第2期6卷 164-178页

作者：张腾超田永林林飞倪清桦宋平戴星原李娟娟伍乃騏 Timothy J.Lee 王飞跃澳门科技大学创新工程学院中国澳门999078 中国科学院自动化研究所复杂系统管理与控制国家重点实验室北京100190 达州人工智能研究院四川达州635755 中国科学院自动化研究所多模态人工智能系统全国重点实验室北京100190 澳门科技大学酒店与旅游管理学院中国澳门999078 中国科学院大学人工智能学院北京100049

旅游作为一种满足人们对不同生活体验和知识需求的活动,对经济、文化等领域都产生了深远影响。随着物联网、多模态大语言模型等技术的迅速发展,传统的旅游业难以满足人们智能化以及个性化的旅游需求。为此,以平行智能为理念,基于ACP方... 详细信息

旅游作为一种满足人们对不同生活体验和知识需求的活动,对经济、文化等领域都产生了深远影响。随着物联网、多模态大语言模型等技术的迅速发展,传统的旅游业难以满足人们智能化以及个性化的旅游需求。为此,以平行智能为理念,基于ACP方法与多模态大语言模型提出了虚实交互的个性化旅游服务系统,通过构建旅游大模型,并结合检索增强生成方法和多智能体协作系统,打造个性化旅游服务的新范式。此外,探讨了平行旅游的应用生态,从“行”“住”“食”“衣”4个方面对整个旅游生态进行拓展,分析了其他行业与个性化旅游服务的融合。平行旅游将为旅游行服务业的发展带来全新可能。

关键词：平行旅游平行系统 ACP方法多模态大语言模型检索增强生成元宇宙