基于深度学习的音频内容关系抽取方法研究

作     者：丁倩倩 

作者单位：北方工业大学 

学位级别：硕士

导师姓名：董哲;王应应

授予年度：2024年

学科分类：0711[理学-系统科学] 12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 07[理学] 081203[工学-计算机应用技术] 08[工学] 081104[工学-模式识别与智能系统] 0835[工学-软件工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主      题：语音识别 神经网络 命名实体识别 生物医学 

摘      要：在当今时代,随着多媒体内容的爆炸式增长,尤其是音频数据的大量涌现,急需一种能够高效、准确地解析这些内容的技术,特别是在包含大量专业术语和知识的专有领域,例如生物医学领域、法学专业领域等。传统方法在处理这种非结构化数据时面临诸多挑战,而人工智能,特别是自然语言处理技术的进步,为此问题提供了新的解决方案。本文旨在探讨一种音频关系识别方法,通过结合语音识别技术的算法改进和大模型实体关系识别技术,专门针对生物医学领域的音频数据进行高效、准确的语义理解。 首先,本研究提出了一个基于领域特定数据集语音网络和置信度决策网络的高精度语音识别方法。基于领域特定数据集语音网络侧重于利用生物医学领域的特定数据集进行训练,以提高系统对专业术语的识别能力;置信度决策网络则通过置信度评估机制优化识别结果,减少误识率。此外,本研究采用了Spark-NLP工具,并且对生物医学领域的大型命名实体识别模型进行优化,它能够准确地识别和分类音频内容中的关键实体,如疾病、药物和治疗方法等,利用分布式运行提升算力以适应大模型。最后通过将这一技术框架与Chat GPT结合,构建了一个针对初步医疗问诊的应用场景,这种综合性的应用不仅能够提高音频内容解析的效率和准确性,而且通过引入领域特定的数据集和先进的命名实体识别技术,增强了对非结构化信息的处理能力。 为了验证所提出方法的有效性和实用性,本文设计了一系列实验,实验首先在特定的生物医学领域音频数据集上测试了该模型,然后将其识别性能与其他在大规模通用数据集上训练的自动语音识别系统进行了比较分析,实验结果显示,本研究在专有领域的音频识别和语义理解方面展现出了优势。另外,通过构建命名实体识别大模型,能够实现对这些信息更加深入的语义理解,这些成果不仅证实了此方法的高效性和实用性,也展示了其在医疗健康领域应用的潜力,为利用人工智能技术推动医疗健康行业的发展提供了新的思路和工具。