检索结果-南通市图书馆

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

跨媒体搜索关键技术

跨媒体搜索关键技术

作者：张铠琪北京邮电大学

学位级别：硕士

随着多媒体设备的不断更新以及移动应用技术的快速发展,多媒体尤其是视频媒体传播越来越广泛,人们对视频搜索系统的要求也日益增长。本文研究了跨媒体视频检索中视频语义的分析与提取、基于场景的视频聚类等关键问题。主要的工作如下：... 详细信息

随着多媒体设备的不断更新以及移动应用技术的快速发展,多媒体尤其是视频媒体传播越来越广泛,人们对视频搜索系统的要求也日益增长。本文研究了跨媒体视频检索中视频语义的分析与提取、基于场景的视频聚类等关键问题。主要的工作如下：1、提出一种跨媒体视频搜索框架,能够利用视频中的图像、音频、文本等多种媒体信息完成视频搜索。实现了对视频元数据和查询query的文本分析预处理,完成拼写检查、去停用词、词干提取和词形还原等操作,抽取出文本中的关键信息。在视频语义信息提取方面,提取出音频信息、文本信息,以及人脸和常见物体等概念语义,并以文本形式输出。用lucene分别对视频元数据和视频语义信息建立索引,完成视频搜索和排序。该系统适用于海量网络视频搜索,并在TRECVID-KIS视频搜索任务数据集上进行测试,MAP值为0.265,验证了有效性。2、在视频的语义信息提取方面,提出一种基于笔划宽度的文本检测算法,能够有效地检测和识别出视频中所包含的文本。视频中的文本信息通常为视频的标题或描述等,起着辅助理解视频内容的作用,因此文本信息、相对于其它媒体信息能更直接地体现视频的主要内容。本文采用笔划宽度和颜色特征相融合的文本检测算法,能够有效地把文本和背景区分开来,并筛选出文本区域。最后用OCR软件对文本进行识别。该算法应用在跨媒体视频搜索框架,使搜索结果得到稳定提升。3、提出一种基于场景的视频聚类算法,通过分析视频的场景,对视频提取更高层次的语义信息,用BoW模型对视频特征进行量化,采用谱聚类算法对视频进行无监督聚类。通过把描述同一个事件的视频聚到一起,自动地为视频附加类别标签,应用在最后的视频搜索过程中。在自建的网络热点事件视频库上进行测试,测试结果表明该方法能提高检索的查全率。

关键词：跨媒体搜索语义提取文本检测视频聚类

面向世博应用的跨语言及跨媒体搜索云计算平台架构

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

中国科技成果 2010年第1期11卷 40-42页

作者：杨震中国电信股份有限公司上海研究院上海200122

本文通过对云计算模式的研究和探讨，提出了面向世博信息服务应用的跨语言和跨媒体搜索服务平台体系架构。架构模型从基础资源数据层、基础能力层、业务实现层、用户界面层给出了目前可实现的架构，并在此基础上，给出了应用是实例。

关键词：云计算跨语言搜索跨媒体搜索

社交网络跨媒体大数据演进挖掘、搜索与可视化研究

维普期刊数据库评论

在线全文

维普期刊数据库

学校读者我要写书评

暂无评论

社交网络跨媒体大数据演进挖掘、搜索与可视化研究

作者：程鹏超北京邮电大学

学位级别：硕士

社交网络在人们交流和分享的过程中充当着中间媒介的作用,不仅可以为用户提供优质的服务,而且社交网络平台可以收集用户生成的文本、图像和视频等不同媒体的数据。虽然社交网络跨媒体大数据对于信息流企业具有极大地变现价值,用户编辑... 详细信息

社交网络在人们交流和分享的过程中充当着中间媒介的作用,不仅可以为用户提供优质的服务,而且社交网络平台可以收集用户生成的文本、图像和视频等不同媒体的数据。虽然社交网络跨媒体大数据对于信息流企业具有极大地变现价值,用户编辑的数据往往存在着语义稀疏、噪声多和多义性等缺点。本文基于深度学习、预训练、聚类算法、对抗生成学习等知识和技术,利用社交网络大数据语义扩充算法对社交网络大数据进行特征提取,通过对抗生成网络和参数共享机制将社交网络跨媒体大数据特征映射到统一的公共语义空间,引入社交网络跨媒体大数据之间的关联关系对社交网络跨媒体大数据的搜索进行辅助加速,实现了社交网络跨媒体大数据演进挖掘、搜索与可视化系统。本文完成的主要工作如下:(1)针对社交网络大数据存在的语义稀疏、多义性和噪声多等缺点,提出了社交网络短文本语义扩充算法(BBLA)和社交网络图像语义扩充算法(VMA)。在社交网络短文本语义扩充方面,设计了适用于社交网络短文本数据的深度神经网络,通过结合预训练模型Bert、长短时循环网络和注意力机制,获取了具有上下文语义信息的文本语义扩充向量,利用有监督的方式对文本数据进行训练和学习,实现了社交网络短文本的语义扩充;在社交网络图像语义扩充方面,利用VGG-16模型对社交网络图像数据特征进行获取,通过在提取图像特征的过程中引入多头注意力机制,获取了具有丰富语义的图像语义扩充向量,实现了社交网络图像的语义扩充。(2)为了加速社交网络跨媒体大数据搜索效率,提出了基于时间和转发关系的社交网络跨媒体大数据关联关系发现算法(ADSTR)。通过对社交网络跨媒体大数据进行聚类分析和关联规则发现,获取了社交网络大数据之间的关联关系,构建出媒体内和媒体间数据的关联矩阵,实现了社交网络跨媒体大数据之间的关联关系发现。对于社交网络跨媒体大数据演进规律挖掘方面,利用基于时间和转发关系的社交网络跨媒体大数据关联关系发现算法对社交网络跨媒体大数据进行分时间片的关联关系发现,获取了每个话题在演变过程中的变化规律,实现了社交网络跨媒体大数据演进规律的挖掘。(3)针对以微博为代表的社交网络存在的语义鸿沟和搜索效率低的问题,提出了基于公共表示与关联关系的社交网络跨媒体大数据搜索算法(CPRT-IR),利用对抗生成网络将社交网络文本特征与对应的图像特征映射到公共语义空间,根据公共语义空间中各媒体的表示生成重构的文本与图像特征,将跨媒体大数据的重构特征与原始特征的差异和对媒体间数据的判别损失作为网络损失的组成部分,通过生成模型与判别模型的相互博弈,获取了社交网络跨媒体大数据公共特征表示,解决了社交网络跨媒体大数据之间语义鸿沟的问题。为了进一步加快搜索的效率,通过结合社交网络跨媒体大数据的公共表示和社交网络跨媒体大数据之间的关联关系,实现了社交网络跨媒体大数据的高效搜索。通过降维和聚类分析的方法,分别对社交网络跨媒体大数据公共表示和搜索结果进行可视化,实验结果进一步验证了基于公共表示与关联关系的社交网络跨媒体大数据搜索算法的有效性。(4)实现了社交网络跨媒体大数据演进挖掘、搜索与可视化系统。系统由语义扩充模块、关联关系发现与演进挖掘模块和搜索与可视化模块三个模块组成。实现了各项功能完备,操作友好的系统。

关键词：社交网络对抗生成学习预训练模型关联关系跨媒体搜索

基于多模态图和对抗哈希注意力网络的跨媒体细粒度表示学习

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

模式识别与人工智能 2022年第3期35卷 195-206页

作者：梁美玉王笑笑杜军平北京邮电大学计算机学院(国家示范性软件学院)智能通信软件与多媒体北京市重点实验室北京100876

跨媒体数据搜索中不同媒体类型的数据间存在特征异构和语义鸿沟问题,且社交网络数据往往呈现语义稀疏性、多样性等特性.针对上述问题,文中提出基于多模态图和对抗哈希注意力网络的跨媒体细粒度表示学习模型,获取统一的跨媒体语义表示,... 详细信息

跨媒体数据搜索中不同媒体类型的数据间存在特征异构和语义鸿沟问题,且社交网络数据往往呈现语义稀疏性、多样性等特性.针对上述问题,文中提出基于多模态图和对抗哈希注意力网络的跨媒体细粒度表示学习模型,获取统一的跨媒体语义表示,应用于社交网络跨媒体搜索.首先,构建图像-单词关联图,并基于图随机游走策略挖掘图像和文本单词间直接语义关联和隐含语义关联,实现语义关系扩展.然后,构建基于跨媒体协同注意力机制的跨媒体细粒度特征学习网络,通过互相指导的跨媒体注意力机制协同学习图像和文本的细粒度语义关联.最后,构建跨媒体对抗哈希网络,联合跨媒体细粒度语义关联学习和对抗哈希学习,获取高效紧凑的跨媒体统一哈希语义表示.实验表明,文中模型在两个公开标准跨媒体数据集上均取得较优的跨媒体搜索性能.

关键词：跨媒体表示学习对抗哈希注意力网络细粒度表示学习跨媒体协同注意力机制跨媒体搜索

基于细粒度语义推理的跨媒体双路对抗哈希学习模型

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

计算机科学 2022年第9期49卷 123-131页

作者：曹晓雯梁美玉鲁康康北京邮电大学计算机学院(国家示范性软件学院)智能通信软件与多媒体北京市重点实验室北京100876

跨媒体哈希因其优越的搜索效率和较低的存储成本而在跨媒体搜索任务中受到广泛关注。然而,现有方法无法充分保持多模态数据的高阶语义相关性和多标签语义信息,从而导致学习到的哈希编码的质量下降。为了解决上述问题,提出了基于细粒度... 详细信息

跨媒体哈希因其优越的搜索效率和较低的存储成本而在跨媒体搜索任务中受到广泛关注。然而,现有方法无法充分保持多模态数据的高阶语义相关性和多标签语义信息,从而导致学习到的哈希编码的质量下降。为了解决上述问题,提出了基于细粒度语义推理的跨媒体双路对抗哈希(Semantic Reasoning Based Cross-media Dual-way Adversarial Hashing Learning Model, SDAH)学习模型,通过最大程度地挖掘不同模态间的细粒度语义关联,产生紧凑且一致的跨媒体统一高效哈希语义表示。首先,提出了基于跨媒体协同注意力机制的细粒度跨媒体语义关联学习和推理方法,基于跨媒体注意力机制协同学习图像和文本的细粒度隐含语义关联,获取图像和文本的显著性语义推理特征;然后,建立了跨媒体双路对抗哈希网络,通过联合学习模态内和模态间的语义相似性约束,并通过双路对抗学习机制更好地对齐不同模态哈希码的语义分布,产生更高质量和更具判别性的跨媒体统一哈希表示,促进了跨媒体语义融合,提升了跨媒体搜索性能。在两个公开数据集上与现有方法的对比实验结果验证了所提方法在各种跨媒体搜索场景下的优越性能。

关键词：语义推理哈希学习跨媒体搜索对抗学习跨媒体语义融合

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

旅游跨媒体大数据的语义学习与建模研究

旅游跨媒体大数据的语义学习与建模研究

作者：李洋北京邮电大学

学位级别：硕士

智慧旅游作为互联网应用的一种发展,极大的丰富了旅游信息和涉及的领域。本文针对旅游大数据的跨媒体特性,基于文本深度表示模型和卷积神经网络对旅游景点的文本和图像信息进行了建模与表达,提出了旅游跨媒体数据的语义学习与分析方法,... 详细信息

智慧旅游作为互联网应用的一种发展,极大的丰富了旅游信息和涉及的领域。本文针对旅游大数据的跨媒体特性,基于文本深度表示模型和卷积神经网络对旅游景点的文本和图像信息进行了建模与表达,提出了旅游跨媒体数据的语义学习与分析方法,基于深度特征和主题语义对旅游文本和图像进行关联,基于深度神经网络学习旅游用户和旅游文本之间的语义信息。论文完成的主要工作如下:(1)实现了跨媒体旅游大数据的信息获取。对于互联网中旅游信息相关的网站,结合旅游主题相关度、时空特征和网页结构特征进行旅游数据的信息获取,并展示获取的旅游文本和旅游图像。基于旅游主题、时空特征和网页结构的信息获取算法(TD-IA)获取的旅游网页数量准确率达到95%。(2)实现了跨媒体旅游大数据的语义表征。对于互联网中获取的旅游文本和旅游图像,基于旅游语料数据利用文本深度表示模型和卷积神经网络对旅游文本和图像进行语义特征提取,得到旅游文本和图像对应的深度特征向量语义表征。基于深度特征和旅游主题语义分类的旅游图像的搜索方法(DF-TC)正确率有所提高。(3)实现了跨媒体旅游大数据的语义学习和统一建模。对于旅游文本和旅游图像的语义深度特征,基于旅游潜在语义主题进行语义学习,运用融合旅游数据主题的语义分析对跨媒体数据的训练集进行统一建模,实现跨媒体旅游大数据的统一表达。提出了基于深度神经网络构建旅游用户语义特征和旅游景点语义特征的语义学习算法。基于旅游潜在语义主题学习的跨媒体搜索算法(CMS-WCTS)准确率有所提高。基于深度神经网络的旅游用户语义学习算法(DNN-TUSL)的准确率达73%以上。(4)实现了跨媒体旅游大数据的搜索系统。对于旅游跨媒体数据进行预处理,基于旅游潜在主题语义学习实现了对旅游大数据的跨媒体搜索,验证了本文提出的算法可以对旅游文本和图像进行表示,可以得到更好的跨媒体搜索结果。本文针对互联网跨媒体旅游大数据,实现了基于旅游潜在主题和深度神经网络的语义学习与建模,实现了旅游大数据的跨媒体搜索。

关键词：文本深度表示模型卷积神经网络语义学习主题语义跨媒体搜索

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于余代数的跨域学习模型与应用

基于余代数的跨域学习模型与应用

作者：朱泽玲湘潭大学

学位级别：硕士

跨域学习是在传统的迁移学习的基础上转变而来,旨在为多媒体数据之间构造一个基于数学余代数同态结构模型,找到更加符合数据结构关联性更加稳定的一些特征和模型,为多媒体数据建立一个更加稳定的结构和关联图,但是由于数据之间直接所表... 详细信息

跨域学习是在传统的迁移学习的基础上转变而来,旨在为多媒体数据之间构造一个基于数学余代数同态结构模型,找到更加符合数据结构关联性更加稳定的一些特征和模型,为多媒体数据建立一个更加稳定的结构和关联图,但是由于数据之间直接所表现出的相似性和关联性差异很大,所以寻找一些能够共同表示不同媒体的特征表示成为多媒体搜索最重要的一部分,如果能够解决这个问题,在当今数据量如此之多、数据类型如此复杂、数据利用如此之广的情况下,将会产生巨大的推进效果。目前国内外在寻求多媒体的多种表示方式都取得了一些的成果,但是却还没有在结构上去证明数据之间所具有的相似性和关联性,鉴于此种状况,本文提出了在基于余代数同态、以及Sift特征提取的多媒体跨域学习上做了一下的研究:首先证明余代数的结构满足余归纳法,而由于余归纳法最大的好处在于是一种开放性的结构,交互性质能达到最大化搜索结果,导致搜索模型更够多样化,根据需求来定阈值,得到满足阈值的所有搜索数据,在多媒体检索中非常常见,同时找到多媒体数据之间共同特征表示,在多媒体领域之间进行跨域学习,特别是在一些相似度较高的领域,进行跨域学习能得到最有效的迁移效果。其次,本文利用多媒体数据之间的高相似度,构建多媒体之间的结构关连图,建立文本、图像、音频、视频之间搜索关联图,以便于在以图搜图,以图搜文本、图像、视频等相关性较高的多媒体文件中更好的进行数据之间的一对一迁移、一对多迁移,以满足现在多媒体搜索的多样性。

关键词：跨域学习迁移学习余代数跨媒体搜索特征提取

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

跨媒体检索平台

跨媒体检索平台

作者：邵志强山东师范大学

学位级别：硕士

计算机网络技术、信息技术的发展，使人们的生活日新月异，人们希望把对知识与消息的获取从传统方式中挣脱开来，以此为契机，互联网技术得到了飞速的发展，一大批搜索引擎席卷而来，进入到人们的生活中，诸如Baidu、Google等。传统搜... 详细信息

计算机网络技术、信息技术的发展，使人们的生活日新月异，人们希望把对知识与消息的获取从传统方式中挣脱开来，以此为契机，互联网技术得到了飞速的发展，一大批搜索引擎席卷而来，进入到人们的生活中，诸如Baidu、Google等。传统搜索引擎大多以文字作为自己的搜索条件，这使得搜索具有一定的局限性，而最近Google跟Baidu都陆续推出了自己的识图软件，预示着在未来，以图片、音频、视频、文本作为搜索条件的，以搜索条件多样性为特征的跨媒体的搜索必将成为未来搜索引擎与搜索平台的发展趋势。而现在跨媒体搜索的研究日益成为热点，本文就是在此背景下，抱砖引玉，提出了一个跨媒体搜索平台的设想，尝试为跨媒体搜索搭建一个平台，人们使用此平台可以方便管理自己的搜索文件库，并且可以自由地添加自己的搜索方法与对应的搜索接口，并可以配置每种文件格式对应的解析方法。在此设想的基础上，作者设计了这套跨媒体搜索平台。在论文的准备阶段，通过阅读大量的相关文献，了解了搜索平台的基本原理与研究现状，在本文中对跨媒体搜索的背景及研究意义进行了详细阐述。通过查阅文献与调查研究现状，对该系统的需求有了深入的分析了解，并对其运行环境做了详细调查，确定了它的详细功能需求与非功能需求。在详细功能需求的基础上，对系统做了详细的设计。在前台页面中，使用ExtJS作为自己的前台框架，在与后台的交互中，全部使用Ajax技术进行异步交互，以增加用户的使用体验性;使用传统的MVC设计模式作为本系统的开发模式;在数据库方面，选择Mysql作为自己的数据库;在服务器方面，使用Tomcat6.0作为自己的服务器。在功能上，分为“搜索模块”、“文件管理模块”、“用户管理模块”、“解析接口管理模块”、“解析接口配置模块”、“文件格式管理模块”，并在论文中都有详细阐述。

关键词：跨媒体搜索数据库前后台框架

面向世博的多语言综合信息服务系统研究与设计

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

面向世博的多语言综合信息服务系统研究与设计

作者：曹佳复旦大学

学位级别：硕士

2010年在上海举办的世博会是一次规模空前,影响力巨大的经济、科技、文化领域的盛会。为了能为参观上海世博会的游客提供有效的综合信息服务,使游客合理安排参观行程和入园观博计划,保证游客安全、提升服务水平,因此迫切需要设计为上海... 详细信息

2010年在上海举办的世博会是一次规模空前,影响力巨大的经济、科技、文化领域的盛会。为了能为参观上海世博会的游客提供有效的综合信息服务,使游客合理安排参观行程和入园观博计划,保证游客安全、提升服务水平,因此迫切需要设计为上海世博会提供多语言综合信息服务的系统。多语言综合信息服务系统是利用多语言语音识别、语音合成和跨媒体搜索等关键技术,创新服务手段,提供人工和自助方式,通过自然语言对话的方式,为世博游客提供全新的信息服务方式体验,同时降低人工服务成本和压力。首先在分析了目前多语音综合信息服务现状、发展趋势的基础上,对多语言语音识别、语音合成和跨媒体搜索进行深入分析和研究,针对2010年上海世博会的信息服务需求,进行系统设计,提出系统的总体架构,分析世博应用场景,介绍系统的主要功能,同时对系统设计和应用方面的先进性、创新性以及系统的服务效果进行总结、统计和分析。通过分析总结了解多语言信息服务系统所带来的经济效益和社会效益,并对相关成果在国内的应用前景给出一些展望。

关键词：多语言语音识别语音合成跨媒体搜索