基于语音信号的阿尔兹海默症自动识别研究

作     者：龚振 

作者单位：天津师范大学 

学位级别：硕士

导师姓名：赵子平

授予年度：2023年

学科分类：0711[理学-系统科学] 1002[医学-临床医学] 07[理学] 100203[医学-老年医学] 10[医学] 

主      题：阿尔兹海默症 时序卷积网络 Transformer 特征融合 

摘      要：阿尔兹海默症(Alzheimer Disease,AD)是一种起病隐匿的神经系统退行性疾病。由于AD的特殊性,目前还没有彻底治愈的方法,所以在疾病早期对患者做出正确诊断并进行干预治疗的意义十分重大。目前较为常见的AD诊断方法有认知测试、生化指标检测、通过人工医学影像诊断等,但这些方法往往耗时且成本昂贵。开展阿尔兹海默症自动识别方法研究实属必要。已有研究表明,阿尔兹海默患者的语音声学特征与正常人有着很大区别。本文针对阿尔兹海默患者语音声学特征的提取、特征融合和语音阿尔兹海默症自动识别中无法精准捕获病灶特征的问题,从患者语音病理角度出发,提取具有表征性的语音声学特征,结合深度学习的方法,提出基于多尺度语音特征融合的时序卷积网络)模型和基于动态特征融合的多分支时序卷积网络模型。本文的主要的研究内容包括:第一,针对提取阿尔兹海默症自动识别中具有区分性、鲁棒性的语音声学的特征的问题。本文提出了一种用于自动识别阿尔兹海默症的深度神经网络,该网络使用声学特征作为输入。其使用时序卷积捕获局部依赖关系,并通过自注意力机制捕获全局依赖关系,通过这种方式来捕获阿尔兹海默症病灶相关特征,以此达到更好的识别效果。本文将提出的方法分别在NCMMSC AD2021和Dementia Bank Pitt Corpus语音数据集上分别进行了验证,实验结果相较与其基线模型提升了11.60%和9.18%。第二,针对单分支时序卷积网络无法在不同时间跨度上进行特征提取的问题,以及难以进行特征融合的问题,本文提出了一种多分支时序卷积网络,以提升模型在不同时间跨度上病灶捕获的能力和模型的动态特征融合能力。使用Encoder对低时间跨度声学特征进行编码,并使用Decoder的第一个多头注意力机制对高时间跨度声学特征进行编码,然后对两种编码序列计算注意力,以此实现了两种编码特征的融合。提出的方法在NCMMSC AD2021和Dementia Bank Pitt Corpus语音数据集上进行了实验,实验结果相较与其基线模型提升了12.80%和10.50%。