加强融合表情和语音的抑郁症检测模型

作     者：张涛 李鸿燕 ZHANG Tao;LI Hongyan

作者机构：太原理工大学电子信息与光学工程学院山西太原030024 

出 版 物：《现代电子技术》 (Modern Electronics Technique)

年 卷 期：2024年第47卷第15期

页      面：127-132页

学科分类：1305[艺术学-设计学（可授艺术学、工学学位）] 13[艺术学] 07[理学] 08[工学] 081104[工学-模式识别与智能系统] 070104[理学-应用数学] 0804[工学-仪器科学与技术] 081101[工学-控制理论与控制工程] 0701[理学-数学] 0811[工学-控制科学与工程] 

基　　金：国家自然科学基金项目(62201377) 山西省回国留学人员科研资助项目(2022-072) 

主　　题：抑郁症检测 深度学习 Bi-LSTM 迁移学习 混合注意力 特征加强融合 

摘      要：抑郁症患者的表情和语音具有直观、易于获取等优点,已被广泛应用于抑郁症检测,但现有研究存在忽略表情变化过程包含的信息在抑郁症检测中的作用,未能将动态表情包含的信息与静态表情、语音有效结合,识别准确度不高等问题。针对上述问题,提出一种用动态表情和语音加强融合静态表情特征的抑郁症检测模型。在语音特征提取模块中加入Bi-LSTM网络,挖掘语音的时序信息,用情感语音迁移学习,再用抑郁症语音训练。表情特征提取模块采用双通道结构,利用混合注意力机制分别提取动态表情和静态表情特征,特征更具判别性。特征加强融合模块用语音和动态表情加强融合静态表情,特征信息互补加强。实验结果表明,所提方法在AVEC2014数据集上检测的RMSE和MAE降低到8.21和6.03,优于目前使用语音和表情检测抑郁症的方法。