检索结果-南通市图书馆

在线全文

学校读者我要写书评

暂无评论

深度多模态表示学习的研究综述

计算机工程与应用 2023年第2期59卷 48-64页

作者：潘梦竹李千目邱天南京理工大学计算机科学与工程学院南京210094

尽管深度学习因为强大的非线性表示能力已广泛应用于许多领域,多源异构模态数据间结构和语义上的鸿沟严重阻碍了后续深度学习模型的应用。虽然已经有许多学者提出了大量的表示学习方法以探索不同模态间的相关性和互补性,并提高深度学习... 详细信息

尽管深度学习因为强大的非线性表示能力已广泛应用于许多领域,多源异构模态数据间结构和语义上的鸿沟严重阻碍了后续深度学习模型的应用。虽然已经有许多学者提出了大量的表示学习方法以探索不同模态间的相关性和互补性,并提高深度学习预测和泛化性能。然而,多模态表示学习研究还处于初级阶段,依然存在许多科学问题尚需解决。迄今为止,多模态表示学习仍缺乏统一的认知,多模态表示学习研究的体系结构和评价指标尚不完全明确。根据不同模态的特征结构、语义信息和表示能力,从表示融合和表示对齐两个角度研究和分析了深度多模态表示学习的进展,并对现有研究工作进行了系统的总结和科学的分类。同时,解析了代表性框架和模型的基本结构、应用场景和关键问题,分析了深度多模态表示学习的理论基础和最新发展,并且指出了多模态表示学习研究当前面临的挑战和今后的发展趋势,以进一步推动深度多模态表示学习的发展和应用。

关键词：多模态表示深度学习多模态融合多模态对齐

在线全文

学校读者我要写书评

暂无评论

图文语义增强的多模态命名实体识别方法

计算机应用研究 2024年第6期41卷 1679-1685页

作者：徐玺王海荣王彤马赫北方民族大学计算机科学与工程学院银川750021 北方民族大学图像图形智能处理国家民委重点实验室银川750021

为了解决多模态命名实体识别方法中存在的图文语义缺失、多模态表征语义不明确等问题,提出了一种图文语义增强的多模态命名实体识别方法。其中,利用多种预训练模型分别提取文本特征、字符特征、区域视觉特征、图像关键字和视觉标签,以... 详细信息

为了解决多模态命名实体识别方法中存在的图文语义缺失、多模态表征语义不明确等问题,提出了一种图文语义增强的多模态命名实体识别方法。其中,利用多种预训练模型分别提取文本特征、字符特征、区域视觉特征、图像关键字和视觉标签,以全面描述图文数据的语义信息;采用Transformer和跨模态注意力机制,挖掘图文特征间的互补语义关系,以引导特征融合,从而生成语义补全的文本表征和语义增强的多模态表征;整合边界检测、实体类别检测和命名实体识别任务,构建了多任务标签解码器,该解码器能对输入特征进行细粒度语义解码,以提高预测特征的语义准确性;使用这个解码器对文本表征和多模态表征进行联合解码,以获得全局最优的预测标签。在Twitter-2015和Twitter-2017基准数据集的大量实验结果显示,该方法在平均F 1值上分别提升了1.00%和1.41%,表明该模型具有较强的命名实体识别能力。

关键词：多模态命名实体识别多模态表示多模态融合多任务学习命名实体识别

在线全文

学校读者我要写书评

暂无评论

基于多模态表示学习的情感分析框架

计算机科学 2022年第S2期49卷 631-636页

作者：胡新荣陈志恒刘军平彭涛叶鹏朱强纺织服装智能化湖北省工程研究中心武汉430200 湖北省服装信息化工程技术研究中心武汉430200 武汉纺织大学计算机与人工智能学院武汉430200

在多模态表示对整体损失的学习过程中,重构损失对模型的依赖性相对较小,导致隐含表示无法有效捕捉它们各自模态的细节。文中提出了一个基于多模态表示学习的多子空间情感分析框架。首先将每个模态投射到模态不变和模态特定两种不同的话... 详细信息

在多模态表示对整体损失的学习过程中,重构损失对模型的依赖性相对较小,导致隐含表示无法有效捕捉它们各自模态的细节。文中提出了一个基于多模态表示学习的多子空间情感分析框架。首先将每个模态投射到模态不变和模态特定两种不同的话语表示中,在模态不变表示中构建主共享子空间以及帮助该子空间减少模态差距的辅助共享子空间,在模态特定表示中构建私有子空间以捕获每个模态独有的特征,将所有子空间中的隐藏向量作为解码函数的输入并重构模态向量,以实现对重构损失的优化。然后,在融合阶段对每个模态表示执行基于Transformer的自注意力,使每个表示能从对整体情感取向具有协同作用的其他跨模态表示中获取潜在信息。最后,通过串联生成联合向量并利用全连接层生成任务预测。在两个公开数据集MOSI和MOSEI上的实验结果表明,该框架在大多数评价指标上都优于基线模型。

关键词：多模态表示情感分析 Transformer 自注意力跨模态

基于知识图谱嵌入的复杂推理和多模态表示方法研究与实现

在线全文

学校读者我要写书评

暂无评论

基于知识图谱嵌入的复杂推理和多模态表示方法研究与实现

作者：汪凯北京邮电大学

学位级别：硕士

将人类知识与人工智能相结合是学术界一直探索的方向之一,也是增强人工智能算法解决复杂问题的必要手段。知识图谱对人类知识进行精炼,通过嵌入技术赋能后续的算法应用。现阶段知识图谱场景下的复杂问题主要包括越来越复杂的查询问题和... 详细信息

将人类知识与人工智能相结合是学术界一直探索的方向之一,也是增强人工智能算法解决复杂问题的必要手段。知识图谱对人类知识进行精炼,通过嵌入技术赋能后续的算法应用。现阶段知识图谱场景下的复杂问题主要包括越来越复杂的查询问题和越来越广泛的数据模态。如何在传统知识图谱嵌入的研究基础上处理复杂查询问题和多模态场景成为业界和学术界关心的重点。目前针对知识图谱嵌入的研究集中在如何更好的建模知识三元组,只具备在单一模态的简单推理能力,难以适应于如知识图谱复杂推理、多模态知识图谱表示等关键问题。本课题针对基于知识图谱嵌入的复杂推理问题和多模态表示问题进行了研究,主要内容如下:针对基于知识图谱嵌入的知识图谱复杂推理问题,本文提出了SignalE算法。传统知识图谱嵌入形式无法很好的处理逻辑非操作的问题,SignalE提出了一种新的嵌入形式-离散信号嵌入,以处理完整的一阶逻辑查询问题。在同一维度下,离散信号嵌入具有可以相互转化的时域表示和频域表示。基于频域表示,关系投影操作被从神经网络简化为平移操作,逻辑非操作通过翻转频域表示的虚部来建模逻辑语义取反。在多个基准数据集上的实验结果表明,本课题提出的SignalE算法不仅在预测性能上超过了众多基线模型,并且模型参数规模降低,训练速度取得大幅度提升。针对多模态知识图谱表示研究问题,本文提出了 MPKGAC算法,并将其应用于多模态知识图谱补全任务。现有的多模态知识图谱补全方法侧重于使用文本或视觉模态的特征来增强结构化知识表示,但对于多模态信息的交互和利用并不充分,并且忽略了知识模态、文本模态以及视觉模态的独立性。本课题提出基于三流机制的多模态知识图谱表示方法,独立建模知识、文本、图像三种模态,并通过定向的前缀注意力机制和模态间令牌级别的相似度矩阵来控制多模态信息的交互过程。多模态综合解码器被提出用于充分利用模态的互补信息以增益预测性能。与基线模型相比,MPKGAC在各项指标上均取得了最好的预测性能。此外,MPKGAC在实际电商场景中应用于多模态商品属性值补全,具备了一定的实际应用能力。针对知识图谱技术赋能高等教育场景,本文进行了工程实践。针对高等教育阶段,围绕电子信息类学科构建了基于“知识粒度”的学科知识图谱本体,开发了知识图谱智能搜索及可视化网站,通过图谱可视化、图谱漫游、知识定位、知识关联等功能,用户可以更加直观、快速的浏览学科知识体系和更加准确的定位目标知识点,从图片、公式、讲解视频、百科等多种模态来理解知识点。此外,将上述复杂推理算法在学科知识图谱平台进行了具体实践,支撑平台具备复杂问题检索能力。整个系统为学生用户提供了多种多样的知识搜索和可视化功能,使高等教育教育阶段的学生主动把握学科知识体系。

关键词：知识图谱嵌入复杂推理多模态表示

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于异质集成学习的多模态表示的研究

基于异质集成学习的多模态表示的研究

作者：王俊杰东北林业大学

学位级别：硕士

随着社会产能的飞速增加,人类进入了信息爆炸的人工智能时代。电商、医疗、交通、物流等具有庞大体量的行业产生了丰富的数据,这引发了数据的时代革命。数据和算法是计算机引领的信息化时代的根本,同时也是作为人工智能核心技术的机器... 详细信息

随着社会产能的飞速增加,人类进入了信息爆炸的人工智能时代。电商、医疗、交通、物流等具有庞大体量的行业产生了丰富的数据,这引发了数据的时代革命。数据和算法是计算机引领的信息化时代的根本,同时也是作为人工智能核心技术的机器学习和深度学习的基石。本文从机器学习和深度学习出发,主要针对传统机器学习中的异质集成学习以及深度学习中多模态表示的图像描述任务为研究点,主要研究内容如下:堆叠泛化（Stacking）有着与生俱来的高复杂性、“数据泄露”的问题,同时针对不同的数据样本也存在稳定性方面的问题。对此本文提出基于敏感哈希的堆叠算法（LSH-BAG-DAG-Stacking,LBDS）,其利用局部敏感哈希（local sensitive hashing,LSH）算法将训练集和测试集映射到哈希桶,当其中某个桶满时作为开始训练条件,训练出的模型对下一次桶满时的训练数据和测试数据及其邻域进行预测,利用稳定性和信息熵条件对基分类器筛选,生成高层数据,最后将高层训练预测得到的结果通过混合投票和平均的方法求得最终分类结果。在若干数据集上验证结果显示,LBDS表现出了更好的稳定性和更强的泛化能力。现在的大多数图像描述模型是平庸普通的,不能根据不同的用户知识经验主动生成其以关注对象为焦点的描述。在这项工作中,本文提出了具有主体意识的异质注意力图像描述（Subjective Consciousness and Heterogeneous Attention,SCHA）结构表示用户“知识经验”,并控制生成的描述内容以及详细程度。SCHA中具有主体意识的先验知识图包含一个由对象、属性、关系三种节点组成的有向图,它从图像抽象而来,没有对应的具体语义。SCHA能够洞悉用户的“知识经验”,从而根据相对应的知识图结构中生成所需的描述。SCHA通过获取不同角度的场景图信息作为“先验知识”,显著提高了描述的层次,同时实现了比在MSCOCO和VisualGenome数据集上精心设计的基线模型更优的精确性和丰富性。最后设计验证算法的仿真系统,系统运行稳定,能够实现算法模型的推理结果,达到了预期的目标,对相关算法类仿真系统的开发和设计有着一定的指导意义。

关键词：异质堆叠集成学习图像描述多模态表示

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于语义关系的多Agent多模态表示规划

计算机工程 1999年第10期25卷 12-13,16页

作者：郭元博吴青粟中国科技大学计算机系合肥230027 北方交通大学通信控制系

介绍了一个用于多模态表示规划的多Ａｇｅｎｔ系统。为了显示被表示对象之间的语义关系，表示规划需满足一定的约束。阐述了多Ａｇｅｎｔ合作进行规划的机制，重点论述了约束的传播以及动态修改。

关键词：多模态表示多Agent系统语义关系人工智能

在线全文

学校读者我要写书评

暂无评论

联合多模态表示的人脸识别方法研究

电子设计工程 2021年第24期29卷 175-178,183页

作者：张杜娟陈飞丁莉西安医学院卫生管理学院陕西西安710021

针对人脸图像识别问题,提出联合多模态表示的方法。采用二维经验模态分解(BEMD)对人脸图像进行分解,获得多层次二维内蕴模函数(BIMF),作为人脸的多模态表示。在分类阶段,采用多任务压缩感知模型(MTCS)对多层次BIMF进行表征,求解不同BIM... 详细信息

针对人脸图像识别问题,提出联合多模态表示的方法。采用二维经验模态分解(BEMD)对人脸图像进行分解,获得多层次二维内蕴模函数(BIMF),作为人脸的多模态表示。在分类阶段,采用多任务压缩感知模型(MTCS)对多层次BIMF进行表征,求解不同BIMF的稀疏系数矢量,进而计算不同类别对于当前测试样本的重构误差,根据重构误差判断样本所属类别。通过在ORL和Yale-B人脸图像数据集上开展实验,所提方法平均识别率分别达到75.42%和94.07%,且对噪声干扰具有良好的稳健性。

关键词：人脸识别二维经验模态分解多模态表示多任务压缩感知

在线全文

学校读者我要写书评

暂无评论

多模态深度学习综述

计算机应用研究 2020年第6期37卷 1601-1614页

作者：刘建伟丁熙浩罗雄麟中国石油大学(北京)自动化系北京102249

在多模态深度学习发展前期总结当前多模态深度学习,发现在不同多模态组合和学习目标下,多模态深度学习实现过程中的共有问题,并对共有问题进行分类,叙述解决各类问题的方法。具体来说,从涉及自然语言、视觉、听觉的多模态学习中考虑了... 详细信息

在多模态深度学习发展前期总结当前多模态深度学习,发现在不同多模态组合和学习目标下,多模态深度学习实现过程中的共有问题,并对共有问题进行分类,叙述解决各类问题的方法。具体来说,从涉及自然语言、视觉、听觉的多模态学习中考虑了语言翻译、事件探测、信息描述、情绪识别、声音识别和合成以及多媒体检索等方面研究,将多模态深度学习实现过程中的共有问题分为模态表示、模态传译、模态融合和模态对齐四类,并对各类问题进行子分类和论述,同时列举了为解决各类问题产生的神经网络模型。最后论述了实际多模态系统、多模态深度学习研究中常用的数据集和评判标准,并展望了多模态深度学习的发展趋势。

关键词：多模态深度学习多神经网络多模态表示多模态传译多模态融合多模态对齐

在线全文

学校读者我要写书评

暂无评论

药物—靶标相互作用与亲和力预测研究

药物—靶标相互作用与亲和力预测研究

作者：廖懿鸣南华大学

学位级别：硕士

识别药物-靶标之间的关系(DTRs)是药物研发等相关工作的关键,能够为药物发现、多药理学、药物重新定位、药物副作用预测等相关领域提供方向和有价值的指导。DTRs识别任务可以分为药物-靶标相互作用(DTIs)预测和药物-靶标亲和力(DTA)预... 详细信息

识别药物-靶标之间的关系(DTRs)是药物研发等相关工作的关键,能够为药物发现、多药理学、药物重新定位、药物副作用预测等相关领域提供方向和有价值的指导。DTRs识别任务可以分为药物-靶标相互作用(DTIs)预测和药物-靶标亲和力(DTA)预测两类,DTIs预测是二分类任务,而DTA预测则是回归任务。传统基于生化实验的DTRs识别方法不仅费时费力费钱,而且具有一定的盲目性。随着深度学习技术的不断发展以及计算机数据处理能力的不断提升,计算机技术与生物医学学科的结合也越来越紧密。计算机辅助的DTRs识别预测方法能够缓解传统方法的缺点,因此备受专家学者的青睐与重视。对于DTIs预测,基于机器学习的方法通常通过提取药物、靶标的化学结构信息和药物-靶标所构成的异质信息网络(HIN)中的语义信息来进行预测。但此类方法几乎没有考虑到HIN的子结构信息以及节点间隐藏的语义信息,因此本文提出一种融合元路径信息的图神经网络模型(GMDTI)。首先根据8个数据集中的药物、靶标、疾病和副作用数据以及它们之间的8种作用关系,构建药物?靶标异质信息网络(HIN);然后定义两条元路径来捕获药物?靶标HIN中的不同子结构信息和不同节点间隐藏的语义信息,并应用图神经网络的方法聚合节点的一阶邻居信息和元路径中节点间的语义信息;最后利用端到端的学习方法完成DTIs预测。该方法同时考虑药物?靶标HIN的结构特性和元路径语义信息,有助于学习到更多潜在的药物?靶标作用关系。实验结果表明,GMDTI的预测准确率高于所有基线模型,AUC达到98.6%,AUPR达到94.5%。同时通过调整数据的稀疏度和降噪实验,证明GMDTI具备优于所有基线模型的鲁棒性。对于DTA预测,现存方法主要通过使用基于药物和靶标的分子描述符作为输入,然后构建一些深度学习方法来进行预测。但这些方法仍存在一定的不足。例如现有方法仅考虑药物的SMILES序列模态信息或分子图模态信息中的一种,没有综合利用这两种模态信息,导致药物的嵌入表示所含语义信息不够丰富,预测性能下降。针对以上问题,本文提出了一种融合多模态信息的药物-靶标亲和力预测模型(NMDTA),并通过在两个不同数据集上进行实验,验证了通过融合药物不同模态信息有助于提升DTA预测任务的精度,同时也证明了NMDTA方法的先进性和有效性。综上,本文分别从DTIs和DTA两个方向进行研究,丰富了药物、靶标的表示,并构建两种预测模型,提高了DTRs识别任务的准确率,为DTRs识别任务提供了新思路。

关键词：药物-靶标相互作用预测药物靶标亲和力预测网络表示学习异质信息网络多模态表示