检索结果-南通市图书馆

在线全文

学校读者我要写书评

暂无评论

基于循环生成对抗网络的跨媒体信息检索算法

计算机学报 2022年第7期45卷 1529-1538页

作者：聂为之王岩杨嵩刘安安张勇东天津大学电气自动化与信息工程学院天津300072 中国科学技术大学信息科学技术学院合肥230026

随着近年来智能终端设备和多媒体社交网络平台的飞速发展,平台用户海量增加的同时,多媒体数据同样呈现海量增长的趋势.使当今主流的社交网络平台充斥着海量的文本、图像等多模态媒体数据,有效的信息检索和分析可以大大提高平台多模态数... 详细信息

随着近年来智能终端设备和多媒体社交网络平台的飞速发展,平台用户海量增加的同时,多媒体数据同样呈现海量增长的趋势.使当今主流的社交网络平台充斥着海量的文本、图像等多模态媒体数据,有效的信息检索和分析可以大大提高平台多模态数据的利用率及用户的使用体验,而不同模态间存在显著的语义鸿沟,大大制约了海量多模态数据的分析及有效信息挖局,因此,如何在海量的多模态数据中实现跨模态信息的精准检索就成为当今学术界和工业界面临的重要挑战.本文提出了一种基于循环生成对抗网络的跨媒体信息检索算法.方法基于对抗网络模型框架,通过约束条件的设计,实现了跨模态数据表征的一致性和信息的完整性.首先,该方法构建生成模型实现了文本和图像模态间的互相转换,并基于对抗学习理论,实现跨模态数据在独立空间下语义的一致性约束,保证跨模态数据信息表征的完整性;其次,为了进一步缩小跨模态数据的语义鸿沟,提出了循环交叉熵损失函数,增强跨模态数据在独立空间下表征的一致性,进一步确保信息表征的完整性;最后,通过多模异构数据共嵌特征空间构造引导跨模态数据在共嵌空间下的一致性表征,消除跨模态数据的语义鸿沟,实现跨媒体数据的精准检索.本文针对算法的优势在公开数据库Flickr30k和MSCOCO上的对比实验和相关实验分析,相关的实验结果也证明了本文所提算法的优越性和合理性.

关键词：跨模态检索图文检索生成对抗网络

在线全文

学校读者我要写书评

暂无评论

基于数据驱动的社交媒体假新闻预测

中国科学技术大学学报 2022年第3期52卷 52-60,70页

作者：陈鑫方山城毛震东张勇东中国科学技术大学信息科学技术学院安徽合肥230027

社交媒体的快速发展导致了虚假新闻的广泛传播,这不仅影响了人们的生活,也损害了社交媒体平台的可信度。因此,中文假新闻检测是一项具有挑战性且意义重大的任务。然而,现有的中国社交媒体平台的假新闻数据集数据量相对较少,该领域的数... 详细信息

社交媒体的快速发展导致了虚假新闻的广泛传播,这不仅影响了人们的生活,也损害了社交媒体平台的可信度。因此,中文假新闻检测是一项具有挑战性且意义重大的任务。然而,现有的中国社交媒体平台的假新闻数据集数据量相对较少,该领域的数据收集相对陈旧,不能满足进一步研究的要求。考虑到这一背景,本文提出了一个最新的中文微博假新闻数据集,其中包含从微博收集的26320条假新闻数据。此外,还提出了一种基于数据增强的假新闻检测模型,可以有效解决假新闻数据缺乏的问题,提高模型的泛化能力和鲁棒性。对从微博收集的假新闻数据集进行了大量实验,并成功将模型部署在网页上。实验结果证明了所提出的端到端模型在检测社交媒体平台上的虚假新闻方面的有效性。

关键词：假新闻检测深度学习机器学习

在线全文

学校读者我要写书评

暂无评论

深度人脸伪造与检测技术综述

清华大学学报（自然科学版） 2023年第9期63卷 1350-1365页

作者：谢天于灵云罗常伟谢洪涛张勇东安徽大学安徽大学与合肥综合性国家科学中心人工智能研究院联合实验室合肥230601 合肥综合性国家科学中心人工智能研究院合肥230088 中国科学技术大学信息科学技术学院合肥230027 清华大学电子工程系北京100084 中国人民解放军军事科学院北京100091

由于现有深度人脸伪造软件通常是开源的或者被封装为APP免费分发,导致了虚假视频的泛滥。因此开展针对深度人脸伪造检测技术的研究就显得尤为重要。目前,深度人脸伪造及检测技术正处在快速发展时期,各种相应的算法也在不断更新迭代。本... 详细信息

由于现有深度人脸伪造软件通常是开源的或者被封装为APP免费分发,导致了虚假视频的泛滥。因此开展针对深度人脸伪造检测技术的研究就显得尤为重要。目前,深度人脸伪造及检测技术正处在快速发展时期,各种相应的算法也在不断更新迭代。本文首先介绍了深度人脸伪造和其检测技术的代表性算法并给出简要分析,其中深度人脸伪造技术包括身份替换、面部重演、属性编辑、人脸生成等,检测技术包括图像级伪造检测技术和视频级伪造检测技术。然后归纳总结了常用的深度人脸伪造与检测数据集及不同算法的评估结果,最后讨论了伪造技术及其检测技术目前面临的主要问题及发展方向。

关键词：深度人脸伪造深度人脸伪造检测深度生成模型检测技术

在线全文

学校读者我要写书评

暂无评论

基于预训练语言模型的关键词感知问题生成

计算机工程 2022年第2期48卷 125-131页

作者：于尊瑞毛震东王泉张勇东中国科学技术大学信息科学技术学院合肥230000 北京百度网讯科技有限公司北京100000

问题生成任务是指根据给定的文本段落和答案来自动生成对应的问题。针对现有问题生成方法存在的误差累积现象以及问题生成任务固有的"一对多"情况,提出一种带有关键词感知功能的问题生成方法。在预训练语言模型的基础上,实现关键词分类... 详细信息

问题生成任务是指根据给定的文本段落和答案来自动生成对应的问题。针对现有问题生成方法存在的误差累积现象以及问题生成任务固有的"一对多"情况,提出一种带有关键词感知功能的问题生成方法。在预训练语言模型的基础上,实现关键词分类模型与问题生成模型的网络结构设计。输入文本段落中蕴含关键词,为使所生成的问题中包含同样的关键词以保证问题与段落的语义一致性,利用关键词分类模型提取出文本段落中的关键词,将关键词与非关键词的区分特征融入问题生成模型的输入中,该特征作为问题生成过程的全局信息,用以消除问题生成模型仅依赖局部最优解的弊端,减少误差累积与"一对多"情况的发生。在SQuAD数据集上的实验结果表明,该方法能够提升问题生成的质量,其BLEU-4指标值可达24,优于带有复制机制、带有语义监督的问题生成模型,目前已经借助百度百科数据平台实现了大规模工业应用。

关键词：问题生成预训练语言模型关键词分类自注意力掩码嵌入向量

在线全文

学校读者我要写书评

暂无评论

层级语义融合的场景文本检测

中国图象图形学报 2023年第8期28卷 2343-2355页

作者：王紫霄谢洪涛王裕鑫张勇东中国科学技术大学信息科学技术学院合肥230026

目的场景文本检测是场景理解和文字识别领域的重要任务之一,尽管基于深度学习的算法显著提升了检测精度,但现有的方法由于对文字局部语义和文字实例间的全局语义的提取能力不足,导致缺乏文字多层语义的建模,从而检测精度不理想。针对此... 详细信息

目的场景文本检测是场景理解和文字识别领域的重要任务之一,尽管基于深度学习的算法显著提升了检测精度,但现有的方法由于对文字局部语义和文字实例间的全局语义的提取能力不足,导致缺乏文字多层语义的建模,从而检测精度不理想。针对此问题,提出了一种层级语义融合的场景文本检测算法。方法该方法包括基于文本片段的局部语义理解模块和基于文本实例的全局语义理解模块,以分别引导网络关注文字局部和文字实例间的多层级语义信息。首先,基于文本片段的局部语义理解模块根据相对位置将文本划分为多个片段,在细粒度优化目标的监督下增强网络对局部语义的感知能力。然后,基于文本实例的全局语义理解模块利用文本片段粗分割结果过滤背景区域并提取可靠的文字区域特征,进而通过注意力机制自适应地捕获任意形状文本的全局语义信息并得到最终分割结果。此外,为了降低边界区域的预测噪声对层级语义信息聚合的干扰,提出边界感知损失函数以降低边界区域特征的歧义性。结果算法在3个常用的场景文字检测数据集上实验并与其他算法进行了比较,所提方法在性能上获得了显著提升,在Totoal-Text数据集上,F值为87.0%,相比其他模型提升了1.0%;在MSRA-TD500(MSRA text detection 500 database)数据集上,F值为88.2%,相比其他模型提升了1.0%;在ICDAR 2015(International Conference on Document Analysis and Recognition)数据集上,F值为87.0%。结论提出的模型通过分别构建不同层级下的语义上下文和对歧义特征额外的惩罚解决了层级语义提取不充分的问题,获得了更高的检测精度。

关键词：场景文本文字检测全卷积网络(FCN) 卷积神经网络(CNN) 特征融合注意力机制

在线全文

学校读者我要写书评

暂无评论

外观和运动模式感知的有丝分裂细胞检测

中国图象图形学报 2023年第9期28卷 2733-2748页

作者：林凡超谢洪涛刘传彬张勇东中国科学技术大学信息科学技术学院合肥230026

目的在癌症筛查和药物研发等医学研究和诊疗过程中,显微图像中的有丝分裂细胞检测可以提供重要的生物学判据。然而,不同培养条件下图像分布差异明显,且细胞密度逐渐增大导致场景变得复杂,常规预处理方法难以进行有效的区域筛选;不同阶... 详细信息

目的在癌症筛查和药物研发等医学研究和诊疗过程中,显微图像中的有丝分裂细胞检测可以提供重要的生物学判据。然而,不同培养条件下图像分布差异明显,且细胞密度逐渐增大导致场景变得复杂,常规预处理方法难以进行有效的区域筛选;不同阶段细胞外观相似、运动过程模糊,现有方法缺乏对区域特征编码的显式监督,容易因为语义区分能力不足导致错误预测。为此,本文提出基于外观和运动模式感知的检测框架,通过两阶段预处理和对细胞状态模式的判别性学习,实现复杂场景下的精准预测。方法本文方法采用3阶段检测框架:在预处理阶段结合区域分割网络和先验优化算法来充分精简候选区域;在预训练阶段构造基于图像分类和重构的两种辅助任务,为候选区域的外观和运动编码提供直接监督,使编码网络具备对不同细胞状态的语义感知能力;在全模型训练和预测阶段,以预处理得到的候选区域序列作为输入,用预训练的编码网络提取候选区域特征,最终通过时序网络融合序列上下文信息得到细胞检测结果。结果在C2C12-16数据集上的实验结果表明,本文方法的平均性能达到:验证集精准率85.3%,召回率89.3%,F得分87.2%;测试集精准率86.4%,召回率86.1%,F得分86.2%,时序检测误差0.221±0.536帧,空间检测误差3.321±2.461像素,在检测精度和稳定性上都超过了现有方法。结论本文提出了新的复杂场景下有丝分裂细胞检测框架。所采用的预处理策略可以有效精简候选区域,显著提高检测效率;针对编码网络的辅助任务预训练充分提升了模型对候选区域外观和运动特征的学习能力,最终能够克服电镜图像中复杂场景和细胞模式的干扰,准确且稳定地对有丝分裂细胞进行时空检测。

关键词：相衬显微图像有丝分裂细胞检测多阶段检测时空特征编码辅助训练

在线全文

学校读者我要写书评

暂无评论

注意力引导的标志检测与识别

软件学报 2023年

作者：张冬明靳国庆鲁鼎煜张菁张勇东人民网传播内容认知全国重点实验室中国科学技术大学信息科学技术学院北京工业大学信息学部

自然场景中的实体标志,如商标、交通标志等,易受拍摄角度、所依附物体形变、尺度变化等影响,导致检测精度降低.为此,提出一种注意力引导的标志检测与识别网络(attention guided logo detection and recognition network, AGLDN),联合优... 详细信息

自然场景中的实体标志,如商标、交通标志等,易受拍摄角度、所依附物体形变、尺度变化等影响,导致检测精度降低.为此,提出一种注意力引导的标志检测与识别网络(attention guided logo detection and recognition network, AGLDN),联合优化模型对多尺度变化和复杂形变的鲁棒性.首先通过标志模板图像搜集及掩码生成、标志背景图像选取和标志图像生成创建标志合成数据集;然后基于RetinaNet和FPN提取多尺度特征并形成高级语义特征映射;最后利用注意力机制引导网络关注标志区域,克服目标变形对特征鲁棒性的影响,实现标志检测与识别.实验结果表明,所提方法可以有效降低尺度变化、非刚性形变的影响,提高标志检测准确率.

关键词：标志检测和识别数据合成多尺度特征融合注意力引导

融合媒体环境下的媒体内容分析与信息服务技术专题前言

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

软件学报 2022年第9期33卷 3137-3138页

作者：汪萌张勇东俞俊张伟合肥工业大学计算机与信息学院安徽合肥230009 中国科学技术大学信息科学技术学院安徽合肥230026 杭州电子科技大学计算机学院浙江杭州310018 广播电视科学研究院北京100866

发展融合媒体是国家战略,它不仅是全媒体功能、传播手段乃至组织结构等核心要素的结合、汇聚和融合,也是信息传输渠道多元化下的新型运作模式.融合媒体的一大特点是网络化内容汇聚、共平台内容产生、多渠道内容分发、多终端用户互动,视... 详细信息

发展融合媒体是国家战略,它不仅是全媒体功能、传播手段乃至组织结构等核心要素的结合、汇聚和融合,也是信息传输渠道多元化下的新型运作模式.融合媒体的一大特点是网络化内容汇聚、共平台内容产生、多渠道内容分发、多终端用户互动,视听媒体制作播放开始大量采用云平台技术,形成了“云+网”的网络化协同制作模式和“云+移动端”的新媒体传播模式.在这一背景下,融合媒体业务中的媒体数据来源和内容将更为复杂,被服务群体需求更为多样化.如何在融合媒体环境下构建高质量的媒体内容分析模型,成为一个具有挑战性的问题.本专题重点围绕和关注视觉媒体的处理与分析,探讨融媒体环境下数据高效精准管理、查询和分析等先进技术的发展和提升.

关键词：云平台技术融合媒体移动端信息传输视觉媒体视听媒体新媒体传播终端用户

GPU加速的基于增量式聚类的视频拷贝检测方法

在线全文

学校读者我要写书评

暂无评论

计算机辅助设计与图形学学报 2010年第3期22卷 449-456页

作者：任化敏张勇东林守勋中国科学院计算技术研究所前瞻研究实验室北京100190 中国科学院研究生院北京100049 北京中医药大学信息中心北京100029

为有效地保护版权,提高大规模视频集的拷贝检测速度,提出一种完全实现在GPU上的基于增量式聚类的拷贝检测方法.对数据库中新增加的视频,首先调用GPU上的硬件解码单元对视频流解码,以实时的速度提取高维SIFT特征点;然后对特征点进行增量K... 详细信息

为有效地保护版权,提高大规模视频集的拷贝检测速度,提出一种完全实现在GPU上的基于增量式聚类的拷贝检测方法.对数据库中新增加的视频,首先调用GPU上的硬件解码单元对视频流解码,以实时的速度提取高维SIFT特征点;然后对特征点进行增量K-means聚类,以动态地反映数据库的变化,并根据聚类结果更新视觉关键词词典;再将每帧表示成归一化的词频向量;最后使用基于帧级别词频向量的时空顺序匹配法来判定查询视频是否为数据库中视频的拷贝.实验结果表明,该方法比原有的CPU实现方法整体提速最高达63倍.

关键词：拷贝检测增量聚类视觉关键词图形处理器计算统一设备架构