检索结果-南通市图书馆

面向多模态自监督特征融合的音视频对抗对比学习

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

中国图象图形学报 2023年第1期28卷 317-332页

作者：盛振涛陈雁翔齐国君合肥工业大学计算机与信息学院合肥230601 智能互联系统安徽省实验室(合肥工业大学) 合肥230601 机器感知与学习实验室(美国中佛罗里达大学) 美国奥兰多32816

目的同一视频中的视觉与听觉是两个共生模态,二者相辅相成,同时发生,从而形成一种自监督模式。随着对比学习在视觉领域取得很好的效果,将对比学习这一自监督表示学习范式应用于音视频多模态领域引起了研究人员的极大兴趣。本文专注于构... 详细信息

目的同一视频中的视觉与听觉是两个共生模态,二者相辅相成,同时发生,从而形成一种自监督模式。随着对比学习在视觉领域取得很好的效果,将对比学习这一自监督表示学习范式应用于音视频多模态领域引起了研究人员的极大兴趣。本文专注于构建一个高效的音视频负样本空间,提高对比学习的音视频特征融合能力。方法提出了面向多模态自监督特征融合的音视频对抗对比学习方法:1)创新性地引入了视觉、听觉对抗性负样本集合来构建音视频负样本空间;2)在模态间与模态内进行对抗对比学习,使得音视频负样本空间中的视觉和听觉对抗性负样本可以不断跟踪难以区分的视听觉样本,有效地促进了音视频自监督特征融合。在上述两点基础上,进一步简化了音视频对抗对比学习框架。结果本文方法在Kinetics-400数据集的子集上进行训练,得到音视频特征。这一音视频特征用于指导动作识别和音频分类任务,取得了很好的效果。具体来说,在动作识别数据集UCF-101和HMDB-51(human metabolome database)上,本文方法相较于Cross-AVID(cross-audio visual instance discrimination)模型,视频级别的TOP1准确率分别高出了0.35%和0.83%;在环境声音数据集ECS-50上,本文方法相较于Cross-AVID模型,音频级别的TOP1准确率高出了2.88%。结论音视频对抗对比学习方法创新性地引入了视觉和听觉对抗性负样本集合,该方法可以很好地融合视觉特征和听觉特征,得到包含视听觉信息的音视频特征,得到的特征可以提高动作识别、音频分类任务的准确率。

关键词：自监督特征融合对抗对比学习音视频多模态视听觉对抗性负样本预训练

在线全文

学校读者我要写书评

暂无评论

重症胰腺炎消化内科的临床治疗效果探究

重症胰腺炎消化内科的临床治疗效果探究

基于发音特征的音视频说话人识别鲁棒性的研究

第二届全国医药研究论坛

作者：陈雁翔临沂市人民医院

目的对重症胰腺炎消化内科的临床治疗效果进行探究。方法为了顺利开展本次研究,现从本院选取了100例重症胰腺炎患者作为研究对象,并将其分为了2组,所有患者均于2020年01月-2022年11月之间来本院进行的就诊。两组患者入院后所接受的临床...

目的对重症胰腺炎消化内科的临床治疗效果进行探究。方法为了顺利开展本次研究,现从本院选取了100例重症胰腺炎患者作为研究对象,并将其分为了2组,所有患者均于2020年01月-2022年11月之间来本院进行的就诊。两组患者入院后所接受的临床治疗存在一定的区别,其中一组患者入院后接受常规的治疗,将这组称为对照组。另一组患者入院后接受消化内科综合治疗,将这组称为观察组。随后对两组患者治疗前后临床指标的变化、治疗有效率、住院费用、住院时间以及并发症发生情况进行观察与对比。结果本次研究中观察组患者白细胞(WBC)、C反应蛋白(CRP)、血淀粉酶(AMS)以及体温等各项临床指标改善情况均优于对照组,(P<0.05);本次研究中观察组患者的治疗有效率显著高于对照组的治疗有效率,(P<0.05);本次研究中观察组患者的住院时间短于对照组以及住院费用低于对照组,(P<0.05);本次研究中观察组患者的并发生发生率显著低于对照组患者的并发生发生率,(P<0.05)。结论在对重症胰腺炎患者进行治疗时,给予其消化内科综合治疗有利于改善患者的各项临床指标,提高治疗的效果,缩短住院的时间,减少住院的费用以及减少并发生的发生。

关键词：

来源： cnki会议评论

在线全文

cnki会议

学校读者我要写书评

暂无评论

电子学报 2010年第12期38卷 2920-2924页

作者：陈雁翔刘鸣合肥工业大学计算机与信息学院安徽合肥230009 伊利诺伊大学香槟分校电子计算机工程系伊利诺伊州61801

人类对语音的感知是多模态的,会同时受到听觉和视觉的影响.以语音及其视觉特征的融合为研究核心,依据发音机理中揭示的音视频之间非同步关联的深层次成因,采用多个发音特征的非同步关联,去描述表面上观察到的音视频之间的非同步,提出了... 详细信息

人类对语音的感知是多模态的,会同时受到听觉和视觉的影响.以语音及其视觉特征的融合为研究核心,依据发音机理中揭示的音视频之间非同步关联的深层次成因,采用多个发音特征的非同步关联,去描述表面上观察到的音视频之间的非同步,提出了一个基于动态贝叶斯网络的语音与唇动联合模型,并通过音视频双模态的多层次融合,实现了说话人识别系统鲁棒性的提高.音视频双模态数据库上的实验表明了,在不同语音信噪比的条件下多层次融合均达到了更好的性能.

关键词：发音特征音视频说话人识别动态贝叶斯网络

在线全文

学校读者我要写书评

暂无评论

智能环境中音视频双模态的身份辨识

中国科学技术大学学报 2010年第5期40卷 486-490页

作者：陈雁翔刘鸣合肥工业大学计算机与信息学院安徽合肥230009 伊利诺伊大学香槟分校电子计算机工程系伊利诺伊州61801

首先描述了智能环境下一种基于语音和人脸图像的双模态的身份辨识系统;然后在基于语音的说话人辨识中采用改进的基于语音段的高斯混合模型,在基于人脸的身份辨识中利用K近邻法对整个视频序列而非单个静止图做判决;最后在评分层通过对双... 详细信息

首先描述了智能环境下一种基于语音和人脸图像的双模态的身份辨识系统;然后在基于语音的说话人辨识中采用改进的基于语音段的高斯混合模型,在基于人脸的身份辨识中利用K近邻法对整个视频序列而非单个静止图做判决;最后在评分层通过对双模态输出的评分进行规整和加权组合实现融合.实验表明,音视频双模态融合能有效提高身份辨识系统的正确率.

关键词：身份辨识音视频双模态融合智能环境

在线全文

学校读者我要写书评

暂无评论

多负例对比机制下的跨模态表示学习

计算机工程与应用 2022年第19期58卷 184-192页

作者：丁凯旋陈雁翔赵鹏铖朱玉鹏盛振涛合肥工业大学计算机与信息学院合肥230601

为了有效地获取到更有区别性的跨模态表示,提出了一种基于多负例对比机制的跨模态表示学习方法--监督对比的跨模态表示学习(supervised contrastive cross-modal representation learning,SCCMRL),并将其应用于视觉模态和听觉模态上。SC... 详细信息

为了有效地获取到更有区别性的跨模态表示,提出了一种基于多负例对比机制的跨模态表示学习方法--监督对比的跨模态表示学习(supervised contrastive cross-modal representation learning,SCCMRL),并将其应用于视觉模态和听觉模态上。SCCMRL分别通过视觉编码器和音频编码器提取得到视听觉特征,利用监督对比损失让样本数据与其多个负例进行对比,使得相同类别的视听觉特征距离更近,不同类别的视听觉特征距离更远。此外,该方法还引入了中心损失和标签损失来进一步保证跨模态表示间的模态一致性和语义区分性。为了验证SCCMRL方法的有效性,基于SCCMRL方法构建了相应的跨模态检索系统,并结合Sub_URMP和XmediaNet数据集进行了跨模态检索实验。实验结果表明,SCCMRL方法相较于当前常用的跨模态检索方法取得了更高的mAP值,同时验证了多负例对比机制下的跨模态表示学习具有可行性。

关键词：跨模态表示学习多模态特征融合多负例对比机制监督对比损失跨模态检索

在线全文

学校读者我要写书评

暂无评论

脸由音生:语音驱动的静动态人脸生成方法

计算机工程与应用 2022年第18期58卷 122-129页

作者：赵璐璐陈雁翔赵鹏铖朱玉鹏盛振涛合肥工业大学计算机与信息学院合肥230009

语音驱动人脸生成旨在挖掘语音片段和人脸之间的静动态关联性,进而由给定的语音片段生成对应的人脸图像。然而已有的研究方法大多只考虑其中的一种关联性,且对静态人脸生成的研究严格依赖于时序对齐的音视频数据,在一定程度上限制了静... 详细信息

语音驱动人脸生成旨在挖掘语音片段和人脸之间的静动态关联性,进而由给定的语音片段生成对应的人脸图像。然而已有的研究方法大多只考虑其中的一种关联性,且对静态人脸生成的研究严格依赖于时序对齐的音视频数据,在一定程度上限制了静态模型的使用范围。提出了一种基于条件生成对抗网络的语音驱动静动态人脸生成模型(SDVF-GAN)。该模型基于自注意力机制构建语音编码器网络以获得更为准确的听觉特征表达,并将其作为静态生成网络和动态生成网络的输入;静态生成网络利用基于投影层的图像判别器合成出属性一致(年龄、性别)且高质量的静态人脸图像,动态生成网络利用基于注意力思想的嘴唇判别器和图像判别器合成出嘴唇同步的动态人脸序列。实验利用所构建的属性对齐的Voice-Face数据集和公共的LRW数据集分别训练静态人脸生成网络和动态人脸生成网络。结果表明,该模型综合研究了语音和人脸之间的属性对应和嘴唇同步关系,实现了质量更高且关联性和同步性更强的人脸图像生成。

关键词：语音驱动静动态人脸生成属性关联嘴唇同步生成对抗网络

在线全文

学校读者我要写书评

暂无评论

基于纯度和BBN算法的无监督的话者聚类

模式识别与人工智能 2005年第4期18卷 486-490页

作者：周曦戴蓓蒨陈雁翔李辉中国科学技术大学电子科学与技术系合肥230026

由于说话人之间声学特征上的差异,可以将来自于不同说话人的语音段按照话者之间的相似程度进行聚类。在语音段长度不等和说话人数目未知的情况下,本文提出了一种基于纯度信息的不同话者语音段的无监督聚类方法。首先为每个语音段分别建... 详细信息

由于说话人之间声学特征上的差异,可以将来自于不同说话人的语音段按照话者之间的相似程度进行聚类。在语音段长度不等和说话人数目未知的情况下,本文提出了一种基于纯度信息的不同话者语音段的无监督聚类方法。首先为每个语音段分别建立GMM模型,通过模型似然比计算和GLR距离测度获得语音段之间的相似程度,对语音数据集进行无监督的分级聚类,采用纯度信息和BBN算法进行每级聚类的聚类质量和效果计算,并以此进行分级聚类的剪枝选择。文中给出了平行剪枝和最优剪枝两种剪枝方法及剪枝的评估方法。实验表明,该方法具有较好的聚类效果。

关键词：纯度 BBN算法 GLR距离测度无监督话者聚类

在线全文

学校读者我要写书评

暂无评论

基于PAD情感模型的可训练语音合成研究

模式识别与人工智能 2013年第11期26卷 1019-1025页

作者：陈雁翔龙润田合肥工业大学计算机与信息学院合肥230009 合肥工业大学计算机科学与技术博士后科研流动站合肥230009 上海师范大学语言研究所上海200234

情感语音合成是情感计算和语音信号处理研究的热点之一,进行准确的语音情感分析是合成高质量情感语音的前提.文中采用PAD情感模型作为情感分析量化模型,对情感语料库中的语音进行情感分析和聚类,获得各情感PAD参数模型.由HMM语音合成系... 详细信息

情感语音合成是情感计算和语音信号处理研究的热点之一,进行准确的语音情感分析是合成高质量情感语音的前提.文中采用PAD情感模型作为情感分析量化模型,对情感语料库中的语音进行情感分析和聚类,获得各情感PAD参数模型.由HMM语音合成系统合成的情感语音,通过PAD模型进行参数修正,使得合成语音的情感参数更加准确,从而提高情感语音合成的质量.实验表明该方法能较好地提高合成语音的自然度和情感清晰度,在同性别不同说话人中也能达到较好的性能.

关键词： PAD情感模型可训练语音合成情感量化参数修正情感特征

基于关键数字和HMM的数字串说话人身份确认系统

在线全文

学校读者我要写书评

暂无评论

中国科学技术大学学报 2004年第1期34卷 70-75页

作者：陈雁翔戴蓓蒨周曦李辉中国科学技术大学电子科学与技术系

为了建立一个数字串说话人身份确认系统 ,采用了基于数字HMM的与文本有关的身份确认方式 ;使用限定在数字范围内的任意数字串为语音文本 ,并内嵌能较好反映说话人特征的关键数字来提高确认性能 ;最终对多个关键数字的确认子系统进行综... 详细信息

为了建立一个数字串说话人身份确认系统 ,采用了基于数字HMM的与文本有关的身份确认方式 ;使用限定在数字范围内的任意数字串为语音文本 ,并内嵌能较好反映说话人特征的关键数字来提高确认性能 ;最终对多个关键数字的确认子系统进行综合判决 ,以提高HMM识别性能鲁棒性 .文中重点研究了基于关键数字HMM的身份确认 ,提出了以模型间的距离测度为准则来选择说话人的关键数字 ,并通过对比实验表明了用计算KLD上限的方法进行模型间距离测度的有效性 .

关键词：数字串语音关键数字距离测度