基于改进CycleGAN的语音隐私保护应用研究

作     者：杨昆鹏 

作者单位：西安工业大学 

学位级别：硕士

导师姓名：郭军军;韩召宁

授予年度：2024年

学科分类：0711[理学-系统科学] 07[理学] 08[工学] 0839[工学-网络空间安全] 081201[工学-计算机系统结构] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主      题：语音隐私 语音情感转换 语音转换 生成对抗网络 自注意力机制 

摘      要：智能语音技术的大规模应用,使人们的生活与该技术密不可分,但该技术使用过程中存在个人语音隐私泄露的风险,这些风险主要包括语音情感泄露风险、语音身份泄露风险和敏感语义信息泄露风险。然而目前多数相关研究主要集中在对语音身份信息和语音中的敏感语义信息进行保护,对语音情感信息保护的相关研究还比较少。因此,本文旨在对智能语音技术在使用过程中可能引发的语音情感信息和语音身份信息进行有效保护。 针对上述问题,本文的工作主要展开为以下三部分: 1)对于语音情感隐私的保护,本文改进了CycleGAN模型,使其更适用于对情感语音进行去情感处理以保护语音情感隐私。在传统的CycleGAN网络结构中引入Transformer、WORLD声码器等技术,改进了网络结构得到改进CycleGAN。实验表明,改进CycleGAN比传统CycleGAN提升了至少14%的语音去情感性能,更是提升了处理后语音的质量、自然度和清晰度。 2)对于语音身份隐私的保护,本文提出了语音身份隐私保护方法,该方法改进了多通道语音转换模型QuickVC,使之更适用于语音身份隐私保护。本方法主要基于QuickVC模型进行实现,模型的训练数据采用自收集语音数据集,并将该模型改进为更适用于语音身份隐私保护的四通道语音转换模型。此外,更是结合了语音性别年龄预测模型wav2vec2.0 bi-encoder,提出了通道选择方法。语音隐私保护方法既能够保护语音归属者的性别信息,又能保护归属者的年龄信息。 3)基于上述技术和方法,本文设计并实现了语音隐私保护系统,实验表明,该系统能在语音情感检测场景与语音性别年龄预测场景下,有效并全面的保护用户的语音隐私,且具备不错的泛化能力。不仅如此,该系统还提供了简洁且易上手的交互逻辑,旨在方便普通用户进行语音隐私保护操作。 实验结果表明,在情感隐私保护方面,相比传统CycleGAN模型,改进CycleGAN模型在语音情感隐私保护效果、情感相似度和自然度方面均展现出了更优越的性能。在性别年龄隐私保护方面,语音隐私保护方法在个人性别年龄信息保护效果、语音相似度和自然度方面也具备较好的性能,可有效保护个人性别年龄隐私。实验更是表明了语音隐私保护系统具备不错的泛化能力。