基于布鲁姆认知的多模态教育情感计算研究

作     者：杜加永 

作者单位：山东师范大学 

学位级别：硕士

导师姓名：冷严

授予年度：2024年

学科分类：12[管理学] 0401[教育学-教育学] 04[教育学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 081104[工学-模式识别与智能系统] 08[工学] 0835[工学-软件工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 040110[教育学-教育技术学（可授教育学、理学学位）] 

主      题：多模态研究 布鲁姆认知分类 情感分类 注意力机制 

摘      要：多模态教育认知计算是指基于文本、音频、视觉等多个模态数据和认知科学来理解和分析学习者的情感和认知状态,以提高学习效果和教学质量。多模态教育情感认知计算在现实生活中具有非常广泛的应用:基于多模态教育情感认知计算分析学生的情感状态和需求,系统可以提供更加贴心和温暖的学习环境和资源,帮助学生更好地学习和成长。多模态教育情感认知计算通过分析学生的学习数据和行为,可以深入评估学生的学习状态、情感变化与需求,从而为他们提供更加个性化和有效的教学支持及反馈。教育情感认知计算能够融合多种模态的数据以提供更加全面和精准的教育评估。此外,多模态教育情感认知计算可以帮助教育机构更好地管理教学资源和管理流程。 本文围绕多模态教育情感认知计算展开研究。首先,考虑到教育场景多模态情感分析数据集匮乏,制约了多模态情感分析技术在教育领域的应用与发展,本文基于布鲁姆认知理论设计创建了一个多模态教育情感认知数据集。其次,本文设计了两种多模态情感分析算法,用以解决教育场景下多模态情感分析问题。本文的主要贡献以及创新点包括: (1)基于布鲁姆认知理论设计创建了一个多模态教育情感认知数据集 本文基于布鲁姆认知理论对学生的课堂问答内容进行了精心设计,通过高清摄像机录制了学生在课堂上回答问题的视频片段,通过文本、视觉、听觉三个模态捕捉学生在课堂上的情感变化,并根据布鲁姆认知理论的六个层次:记忆、理解、应用、分析、评价和创造,对问答内容进行了认知水平标注。数据集的内容不仅深入反映了学生对课堂知识的掌握程度,还有效揭示了学生在解决问题过程中所展现的思维方式和能力。 (2)提出了一种基于共享和私有信息的多模态教育情感认知计算方法 借鉴情感识别领域共享信息和私有信息的理念,将其用于教育情感认知计算,提出了一种全新的基于共享信息和私有信息的教育情感认知计算方法MRCCNet。该方法通过共享-私有信息分离技术将特征空间划分为共享和私有两个不同子空间,在共享子空间中捕获跨模态相关的公共表示,在私有子空间中建模每个模态内的私有表示,通过从教育情感认知数据集的各个模态中解耦出共享信息和私有信息,并将其进行有效处理和融合,得到融合特征用于教育情感认知计算。在自建的教育情感认知计算数据集上的实验结果证明MRCCNet算法在教育情感识别方面具有其独特的优势,其能有效地分析教育领域的情感倾向。 (3)提出了一种基于模态对齐的多模态教育情感认知计算方法。 在基于共享和私有信息的多模态教育情感计算方法的基础上,通过引入模态对齐和中心矩差异损失约束,提出了一种基于模态对齐的多模态教育情感认知计算方法法。该方法引入跨模态Transformer模块,利用注意力机制和门控单元来实现不同模态之间的精确对齐。注意力机制能够自动筛选模态中的有用信息,从而增强特征的判别性,而门控单元则通过动态调整信息流实现模态间的有效融合。对齐后的特征不仅包含了原始特征序列中的信息,还融入了其他模态的有用特征,使得多个模态的信息能够互补利用。此外,该方法还采用中心力矩差异来最小化每个样本模态间信息的差异,以进一步提高多模态认知计算的性能。在CMU-MOSI、CMU-MOSEI和自建的教育情感数据集上的对比实验证明了算法的有效性,其在共享和私有信息解耦的基础上能进一步提高模型的性能。