针对说话人识别的对抗样本防御技术研究

作     者：杨凌一 

作者单位：贵州师范大学 

学位级别：硕士

导师姓名：徐洋

授予年度：2024年

学科分类：0711[理学-系统科学] 12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 07[理学] 081104[工学-模式识别与智能系统] 08[工学] 0835[工学-软件工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主      题：对抗样本 对抗防御 说话人识别 对抗训练 生成对抗网络 

摘      要：基于个体独特的音色信息,说话人识别技术在多个领域得到了广泛应用,包括身份验证、金融交易、安全门禁系统、电话银行、犯罪调查等。这种技术能够通过分析声音信号的频率、音调、语速、音质等特征,来确定说话人的身份。然而,随着说话人识别技术的普及和应用,其安全性问题也逐渐凸显出来。一些攻击者利用对语音输入进行微小的改动就能够欺骗说话人识别系统,导致系统产生错误的输出,这为诸多场景带来了严重的安全隐患。 当前,说话人识别系统中的被动防御技术采用一系列方法,包括量化、平滑、压缩和降低采样率等,对说话人的音频进行处理。然而,这些方法常常会对正常的音频造成严重的失真,从而影响了说话人识别系统的准确性。与此同时,主动防御技术可以确保模型对正常样本的准确率,但却无法有效应对各类对抗攻击。这意味着模型在面对正常音频时可能表现良好,一旦受到对抗样本的干扰,模型的性能就会受到影响,容易产生误判。为了解决以上问题,本文从以下几个方面展开研究: (1)基于生成对抗网络的被动防御方法研究。本研究基于生成对抗网络技术,提出了一种净化对抗样本的新型防御方法,直接消除对抗扰动。通过将带有扰动的声纹样本直接转化为干净样本,该方法对正常样本产生的影响极为微小。实验结果表明,在闭集识别中,正常样本经过处理过后能达到99.9%的准确率;在开集识别中,能达到97.7%的准确率。 (2)基于主动防御和被动防御的组合防御方法研究。本文首先探究了在说话人识别系统中主动防御的效果,通过对抗训练的方式,发现其仅对已训练过的对抗样本具有抵御能力。接着,本文尝试将对抗训练方法和净化方法进行叠加,以期获得更强大的防御效果。研究发现,这种组合防御方法在提高模型鲁棒性和泛化能力方面取得了积极的效果。然而,本文也注意到,这种组合防御方法并非始终有效,有时会影响对特定攻击的防御效果。