基于对比预测编码模型的多任务学习语种识别方法

作     者：赵建川 杨浩铨 徐勇 吴恋 崔忠伟 ZHAO Jianchuan;YANG Haoquan;XU Yong;WU Lian;CUI Zhongwei

作者机构：贵州师范学院数学与大数据学院贵阳550018 贵州师范学院大数据科学与智能工程研究院贵阳550018 哈尔滨工业大学(深圳)计算机科学与技术学院深圳518000 

出 版 物：《数据采集与处理》 (Journal of Data Acquisition and Processing)

年 卷 期：2022年第37卷第2期

页      面：288-297页

学科分类：0711[理学-系统科学] 07[理学] 

基　　金：贵州省科技厅基础研究计划项目(黔科合基础-ZK一般334) 贵州省教育厅基础研究计划项目(黔科合基础1Y258) 贵州省教育厅创新群体研究项目(黔教合KY字022) 贵州省省级重点学科“计算机科学与技术”项目(ZDXK007号) 贵州省2018年第三批省级服务业发展引导资金项目(黔发改服务1181号) 

主　　题：语种识别 对比预测编码 多任务学习 ECAPA-TDNN 联合损失 

摘      要：语种识别的关键是从语音片段中提取有用的特征。通过延时神经网络(Time-delayed neural network,TDNN)可以提取包含丰富上下文信息的特征向量,有效提高系统性能。本文提出一种ECAPA(Emphasized channel attention)-TDNN+对比预测编码(Contrastive predictive coding,CPC)模型的多任务学习语种识别网络。ECAPA-TDNN为主干网络,提取语音全局特征,改进的CPC模型为辅助网络,对ECAPA-TDNN提取的帧级特征进行对比预测学习,通过联合损失函数进行优化训练。在东方语种竞赛数据集AP17-OLR的10类语种上进行了实验。实验结果表明,本文提出的网络在1 s,3 s和全长(All)测试集测得的识别准确率相比于基础网络都有明显的提高。