检索结果-南通市图书馆

在线全文

学校读者我要写书评

暂无评论

基于多重视觉注意力的唇语识别

模式识别与人工智能 2024年第1期37卷 73-84页

作者：谢胤岑薛峰曹明伟合肥工业大学计算机与信息学院合肥230601 合肥工业大学软件学院合肥230601 安徽大学计算机科学与技术学院合肥230601

唇语识别是将单个说话人嘴唇运动的无声视频翻译成文字的一种技术.由于嘴唇运动幅度较小,现有唇语识别方法的特征区分能力和泛化能力都较差.针对该问题,文中分别从时间、空间和通道三个维度研究唇语视觉特征的提纯问题,提出基于多重视... 详细信息

唇语识别是将单个说话人嘴唇运动的无声视频翻译成文字的一种技术.由于嘴唇运动幅度较小,现有唇语识别方法的特征区分能力和泛化能力都较差.针对该问题,文中分别从时间、空间和通道三个维度研究唇语视觉特征的提纯问题,提出基于多重视觉注意力的唇语识别方法(Lipreading Based on Multiple Visual Attention Network,LipMVA).首先利用通道注意力自适应校准通道级别的特征,减轻无意义通道的干扰.然后使用两种粒度不同的时空注意力,抑制不重要的像素或帧的影响.CMLR、GRID数据集上的实验表明LipMVA可降低识别错误率,由此验证方法的有效性.

关键词：唇语识别视觉语音识别注意力机制深度神经网络特征提取

面向三维人体坐标及旋转角估计的注意力融合网络

在线全文

学校读者我要写书评

暂无评论

中国图象图形学报 2024年第10期29卷 3116-3129页

作者：薛峰边福利李书杰合肥工业大学软件学院合肥230009 合肥工业大学计算机与信息学院合肥230009

目的三维人体姿态估计是计算机视觉的研究热点之一,当前大多数方法直接从视频或二维坐标点回归人体三维关节坐标,忽略了关节旋转角的估计。但是,人体关节旋转角对于一些虚拟现实、计算机动画应用至关重要。为此,本文提出一种能同时估计... 详细信息

目的三维人体姿态估计是计算机视觉的研究热点之一,当前大多数方法直接从视频或二维坐标点回归人体三维关节坐标,忽略了关节旋转角的估计。但是,人体关节旋转角对于一些虚拟现实、计算机动画应用至关重要。为此,本文提出一种能同时估计三维人体坐标及旋转角的注意力融合网络。方法首先应用骨骼长度网络和骨骼方向网络分别从2D人体姿态序列中估计出人体骨骼长度和骨骼方向,并据此计算出初步的三维人体坐标,然后将初步的三维坐标输入关节旋转角估计网络得到关节旋转角,并应用前向运动学(forward kinematics,FK)层计算与关节旋转角对应的三维人体坐标。但由于网络模块的误差累积,与关节旋转角对应的三维人体坐标比初步的三维坐标精度有所降低,但是FK层输出的三维坐标具有更稳定的骨架结构。因此,为了综合这两种三维坐标序列的优势,最后通过注意力融合模块将初步的三维坐标及与关节旋转角对应的三维人体坐标融合为最终的三维关节坐标。这种分步估计的人体姿态估计算法,能够对估计的中间状态加以约束,并且使用注意力融合机制综合了高精度和骨骼稳定性的特点,使得最终结果的精度得到提升。另外,设计了一种专门的根关节处理模块,能够输出更高精度的根关节坐标,从而进一步提升三维人体坐标的精度和平滑性。结果实验在Human3.6M数据集上与对比方法比较平均关节位置误差(mean per joint position error,MPJPE),结果表明,与能够同时计算关节点坐标和旋转角的工作相比,本文方法取得了最好的精度。结论本文提出的方法能够同时从视频中估计人体关节坐标和关节旋转角度,并且得到的人体关节坐标比现有方法具有更高的精度。

关键词：人体姿态估计关节坐标关节旋转角注意力融合分步估计

基于内部知识扩展的软提示学习点击诱饵检测方法

维普期刊数据库评论

在线全文

维普期刊数据库

学校读者我要写书评

暂无评论

模式识别与人工智能 2024年第9期37卷 798-810页

作者：董丙冰吴信东合肥工业大学大数据知识工程教育部重点实验室合肥230009 合肥工业大学计算机与信息学院合肥230601

点击诱饵的主要目的是通过引导用户点击链接以增加页面浏览量和广告收入.点击诱饵的内容往往具有低质量、误导性或虚假性的特征,对用户产生潜在不利影响.现有的基于预训练语言模型的提示学习方法依赖外部开放知识库以检测点击诱饵,不仅... 详细信息

点击诱饵的主要目的是通过引导用户点击链接以增加页面浏览量和广告收入.点击诱饵的内容往往具有低质量、误导性或虚假性的特征,对用户产生潜在不利影响.现有的基于预训练语言模型的提示学习方法依赖外部开放知识库以检测点击诱饵,不仅性能受制于外部知识库的质量和可用性,而且不可避免地导致查询和响应的延迟.为此,文中提出基于内部知识扩展的软提示学习点击诱饵检测方法,从训练数据集本身提取扩展词,同时采用层次聚类和优化策略,在提示学习中对获得的扩展词进行微调,避免从外部知识库检索知识.此外,采用软提示学习可获得适合特定文本类型的最佳提示,避免手工模板带来的偏差.在少样本场景下,尽管文中方法只基于内部知识进行扩展,但在三个公开的点击诱饵数据集上可以以较少的时间取得较优的检测效果.

关键词：点击诱饵检测软提示内部知识扩展提示学习

维普期刊数据库评论

在线全文

维普期刊数据库

学校读者我要写书评

暂无评论

音效伪造数据集的构建与基准检测方法研究

北京航空航天大学学报 2024年

作者：温心哲陈雁翔郑盛有李国平合肥工业大学计算机与信息学院

音效合成技术的进步虽然有利于推动多媒体创作和娱乐产业的发展，但其在包括伪证、谣言等不良应用方面也带来了潜在的社会负面影响，不同于语音合成和歌声合成，音效合成更专注于创造各种非人声，这使得现有的针对人声的音频伪造检测研... 详细信息

音效合成技术的进步虽然有利于推动多媒体创作和娱乐产业的发展，但其在包括伪证、谣言等不良应用方面也带来了潜在的社会负面影响，不同于语音合成和歌声合成，音效合成更专注于创造各种非人声，这使得现有的针对人声的音频伪造检测研究具有局限性。因此提出了音效伪造检测任务，并为该任务创建了一个音效伪造检测数据集（Fake Sound Effect Dataset，FSED），旨在推动音效鉴伪技术的发展。数据集考虑了三类不同模态引导下的九种伪造音效生成算法，并从三个不同数据集中收集真实数据。最终数据集共包含70800个合成音效，35400个真实音效。还精心设计了四种不同的测试集，旨在更好地评估伪造检测方法的泛化性和鲁棒性。此外，使用了基于音频预训练模型的伪造检测方法对数据集进行基准测试，结果表明本数据集具有一定的挑战性。

关键词：音效深度伪造检测音效合成数据集音频预训练模型泛化性

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

结合高频感知的大气偏振模式生成方法

电子测量与仪器学报 2024年第4期38卷 18-26页

作者：鲍昌皓高欣健王文莉王昕高隽合肥工业大学计算机与信息学院合肥230009 合肥工业大学图像信息处理研究室合肥230009

大气偏振模式是一种稳定的自然属性,其在导航、探测等领域有广泛的应用,但由于自然环境以及周边建筑物遮挡的影响,在同一时刻获取的大气偏振信息是局部且不连续的,导致其在实际应用中受到影响。现有方法主要对大气偏振模式进行大范围图... 详细信息

大气偏振模式是一种稳定的自然属性,其在导航、探测等领域有广泛的应用,但由于自然环境以及周边建筑物遮挡的影响,在同一时刻获取的大气偏振信息是局部且不连续的,导致其在实际应用中受到影响。现有方法主要对大气偏振模式进行大范围图像的修复,对于高频信号的修复精度十分有限导致边缘模糊。针对该问题,本文采用软分割软合成的方法,对偏振信息进行冗余分割并合成,避免了高频信号的丢失,挖掘每个局部中的高频信号特征,并根据大气偏振模式时空连续性合理推测,保证重构的信息与真实信息维持一致,从而生成完整连续的大气偏振信息。实验结果证明,本方法能够很好地重构大气偏振模式中缺失的偏振信息,在云层干扰大于40%的实测重构实验中,本文方法的SSIM和PSNR得分相较于其他方法提高了26%和12%。

关键词：大气偏振模式偏振信息重构高频感知软分割软合成

在线全文

学校读者我要写书评

暂无评论

面向线束预装配的多约束线束布局方法研究

图学学报 2024年第1期45卷 139-147页

作者：罗月童彭俊高景一罗睿明陈绩周波合肥工业大学计算机与信息学院安徽合肥230601

线束由一组线束段按树状结构连接而成,是飞机汽车等产品中连接各电气设备的接线部件。为提高安装效率,复杂线束需要在线束工装板图上进行预安装,即根据角度、距离、交叉、边界等工艺约束在工装板上摆放线束,是一个多约束下的线束布局问... 详细信息

线束由一组线束段按树状结构连接而成,是飞机汽车等产品中连接各电气设备的接线部件。为提高安装效率,复杂线束需要在线束工装板图上进行预安装,即根据角度、距离、交叉、边界等工艺约束在工装板上摆放线束,是一个多约束下的线束布局问题。通过借鉴图布局算法,将线束布局转换为优化问题,并采用随机梯度下降法SGD每次随机挑选一对线束段进行优化,逐步迭代收敛。因为线束段是长度不变的刚体,所以移动一根线束段时会带动相连的其他线束段,进而导致SGD迭代过程出现震荡,难以收敛。通过提出双向传递的线束段移动算法,在保证线束段能移动到目标位置的同时尽量少相连线束段的变动。使用合成线束案例和某真实飞机线束案例进行有效性验证,结果表明各工艺约束能均能得到满足,符合线束预装配的生产要求。

关键词：线束布局图布局随机梯度下降多约束预装配

在线全文

学校读者我要写书评

暂无评论

图文跨模态检索研究综述

北京交通大学学报 2024年第2期48卷 23-36页

作者：张振兴王亚雄合肥工业大学计算机与信息学院合肥230000

图文跨模态检索作为跨模态计算研究的一个核心课题,一直受到学术界和工业界的高度重视.在过去的几十年里,随着深度学习技术的发展,特别是深度神经网络、Transformer架构以及图文对比学习等关键技术的广泛应用与革新,图文跨模态检索领域... 详细信息

图文跨模态检索作为跨模态计算研究的一个核心课题,一直受到学术界和工业界的高度重视.在过去的几十年里,随着深度学习技术的发展,特别是深度神经网络、Transformer架构以及图文对比学习等关键技术的广泛应用与革新,图文跨模态检索领域取得了显著的进展和突破.本文在系统梳理图文跨模态检索的发展轨迹的基础上,重点关注其建模过程中的5个关键步骤,即训练数据准备、数据输入形式设计、图文特征抽取机制的选择、图文建模方法的选择以及优化目标的确立.为客观评估现有模型在跨模态检索任务上的性能水平,在多个权威的标注评测数据集上比较各类模型的表现,以揭示当前跨模态检索方法的实际效能边界.通过对各关键步骤发展历程的分析与总结,结合当前图文跨模态检索领域的研究成果,对未来跨模态学习的发展趋势做出预测与展望.研究结果表明:尽管当前的图文跨模态检索技术已取得显著进步,但仍存在进一步提升的空间和潜力,研究者可从精细化检索、经济的预训练方法、新的图文交互方式、AIGC赋能的图文预训练4个方向进行改进.

关键词：图文检索跨模态学习深度学习注意力机制

同方期刊数据库博看期刊评论

在线全文

学校读者我要写书评

暂无评论

基于非邻域依赖的实测大气偏振模式重构方法

激光与光电子学进展 2024年第15期61卷 62-72页

作者：王文莉高欣健鲍昌皓石磊王昕高隽合肥工业大学计算机与信息学院安徽合肥230009 合肥工业大学图像信息处理研究室安徽合肥230009

由于获取实测大气偏振数据时往往受地表环境以及天空浮云干扰,大气偏振数据会在不同区域出现大面积失真。针对该问题,提出了一种基于非邻域依赖的实测大气偏振模式重构方法。该方法首先基于同一环境下大气偏振模式分布只与太阳位置有关... 详细信息

由于获取实测大气偏振数据时往往受地表环境以及天空浮云干扰,大气偏振数据会在不同区域出现大面积失真。针对该问题,提出了一种基于非邻域依赖的实测大气偏振模式重构方法。该方法首先基于同一环境下大气偏振模式分布只与太阳位置有关的特性,通过控制变量法获取实测条件下受干扰大气偏振数据的真实值;其次,基于大气偏振模式在空间上的连续性分布,通过网络的非邻域特征修复模块挖掘大气偏振数据非邻域间的依赖性,以此实现大面积失真下实测大气偏振数据的重构。消融实验的结果表明,当浮云干扰面积大于60%时,在网络的非邻域特征修复模块作用下峰值信噪比和结构性相似指数分别提高了17%和25%。

关键词：大气偏振模式真实值获取非邻域特征修复实测偏振数据重构

在线全文

学校读者我要写书评

暂无评论

从众性感知的因果去偏新闻推荐方法

计算机学报 2024年第10期47卷 2333-2351页

作者：鲍纪敏张琨吴乐洪日昌汪萌合肥工业大学计算机与信息学院大数据知识工程重点实验室(合肥工业大学)

基于神经网络的新闻推荐算法能够从纷繁复杂的新闻中筛选出符合用户偏好的新闻,对于提升用户获取信息的效率以及阅读新闻的体验具有重要的意义.现有的新闻推荐方法不仅在用户偏好的准确建模方面取得了显著的效果,同时通过识别新闻数据... 详细信息

基于神经网络的新闻推荐算法能够从纷繁复杂的新闻中筛选出符合用户偏好的新闻,对于提升用户获取信息的效率以及阅读新闻的体验具有重要的意义.现有的新闻推荐方法不仅在用户偏好的准确建模方面取得了显著的效果,同时通过识别新闻数据中的虚假关联(例如用户性别与特定新闻类别之间的联系)开展了无偏新闻推荐的初步尝试.然而用户的新闻点击行为是一系列复杂认知行为相互作用之后的决策结果,仅对有偏信息进行直接建模,简化了有偏信息和用户行为之间的复杂交互关系,忽略了用户行为背后的复杂认知因素的影响,导致无偏推荐效果难以满足实际需求.为了解决该问题,本文提出一种全新的从众性感知的因果去偏新闻推荐方法cadNN(Conformity-Aware Debiased Neural News Recommendation).具体而言,本文提出用户的点击行为包括以下三方面:用户偏好与新闻的匹配度,新闻的流行度,以及用户的从众性特质共同决定的观点.用户的从众性越低,新闻的流行度越小,相对应的点击行为越能反映出用户的真实偏好.基于该观点,本文首先对用户的历史点击数据进行了详细的统计分析,从中提取出反映用户行为的关键特征,根据统计分析结果构建能够描述用户偏好、新闻流行度和从众性特质之间关系的因果图模型,通过因果图模型更准确地理解和描述用户点击行为背后的驱动因素.在此基础上,本文提出一种全新的从众性建模方法,同时从用户的从众性特质和新闻的流行度两个角度进行更符合实际情况的从众性建模;与此同时本文利用现有的新闻推荐方法计算用户偏好和新闻内容的匹配度.最终在对三方面因素充分建模的情况下,实现更高质量的无偏新闻推荐.最后,本文在公开的数据集MIND上进行了充分的实验验证,并构建了一个用于无偏测试的挑战集,旨在评估推荐系统在无偏环境中的鲁棒性,与已有的最先进的基准方法相比,本文提出的cadNN方法在AUC、MRR、NDcg@5和NDcg@10四个指标上分别平均提高了1.76%、2.37%、3.06%和2.16%,充分证明了cadNN方法的有效性.本文同时提供了cadNN的实现代码及相关数据,用于支持推动相关领域的研究.

关键词：新闻推荐从众性偏差因果推断去偏表征点击预测