融合语音识别和用户多行为分析的推荐方法研究

作     者：肖伟 

作者单位：重庆理工大学 

学位级别：硕士

导师姓名：刘小洋

授予年度：2024年

学科分类：081203[工学-计算机应用技术] 08[工学] 0835[工学-软件工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主      题：语音识别 图卷积神经网络 推荐系统 多行为分析 

摘      要：推荐算法使得用户可以从大量的无用数据中快速找到有用数据,从而提高用户体验。传统的推荐算法主要面临的挑战包括异构数据建模困难,高阶语义信息提取手段不够完善,可利用的数据形式不多等。近年来大模型的发展有了实质性的突破,语音助手类软件也因此得到了更进一步的发展,语音助手的大范围应用使得人机语音交互数据可以被捕捉并利用到推荐系统中,在很大程度上可以弥补推荐系统中用户画像不准确的问题。调查发现,推荐系统和语音识别主要面临三个挑战:(1)传统推荐算法仅考虑到局部信息聚合,对全局信息的使用不够,并不能很好的对特征进行高阶表示,语音识别算法中也同样存在此问题;(2)由于捕捉用户交互数据与的途径太过单一,在推荐算法中的用户的嵌入式表示对用户画像不够精确;(3)在端到端的语音识别框架中,由于融合了声学模型和语言模型,最终的融合模型由于时间复杂度过高,很难在现实应用场景中实现。 为解决问题(1)和(2),本文提出了基于用户多行为分析的图卷积神经网络推荐方法,首先对用户-物品的多种交互行为进行行为异构建模;然后利用矩阵分解算法对用户行为的语义信息进行处理,使用注意力机制将不同类型的用户物品交互行为的重要程度进行了学习并区分,再结合元学习模型和图卷积神经网络框架建立推荐模型;在语音识别算法中提出了一种名为分组注意力的机制,对全局特征进行处理,解决了特征传递过程中的计算不对称性。同时,使用语音热词模型,以便从用户的语音中提取出高阶语义特征,增强推荐模型中的用户行为建模。为解决问题(3),使用渐进式下采样技术降低模型复杂度,并对融合模型进行了合理剪枝,使得融合模型具有更快的训练速度和推理速度。 在四个公开数据集和爬虫数据组成的数据集上分别对语音识别和推荐算法进行了实验分析,证明了两个模型的先进性和优越性,在此基础上,将语音识别和推荐算法相结合,提出了一个基于用户语音和多行为分析的推荐方法,使用语音识别中的热词模型增强用户的行为表示的语义信息,并结合用户多行为语义建模和元学习框架来提高推荐的准确性。并且对该融合推荐方法进行了实验,结果表明本文提出的推荐方法是科学合理的。