基于注意力机制的知识追踪方法研究

作     者：吴豪 

作者单位：浙江工商大学 

学位级别：硕士

导师姓名：徐斌

授予年度：2022年

学科分类：0401[教育学-教育学] 04[教育学] 08[工学] 081203[工学-计算机应用技术] 0812[工学-计算机科学与技术（可授工学、理学学位）] 040110[教育学-教育技术学（可授教育学、理学学位）] 

主      题：教育现代化 知识追踪 注意力机制 多样化概念 双向记忆强化 

摘      要：传统的授课方式和模式化教学已经成为制约教学良性发展的瓶颈所在。按照《中国教育现代化2035》精神,大数据、人工智能、物联网等信息技术的发展和应用为打破传统教学模式创造了条件,提升了教学系统的智能化水平,让学生发现学习盲点成为可能。为了准确发现教学和学习中的盲点,研究学生学习状态和预测未来做题表现的知识追踪任务已成为研究热点。现有工作表明,研究知识追踪任务时考虑习题的知识概念将有助于学生更高效地分配精力和时间。注意力机制在分析和预测学生做题表现方面被证明有积极的效果。研究人员将知识追踪任务看作是受习题知识、问题知识和知识掌握状态三个因素影响,同时考虑做题的时间分布,提高了现有学生学习状态模拟的准确性。然而,目前分析知识概念间依赖关系和上下文知识掌握状态的研究很少,具有以下不足:（1）知识追踪方法在分析学生做题状态时只考虑单一知识概念的影响,产生模拟学习过程中的信息传递偏差,影响预测学生未来做题表现的准确性;（2）知识追踪方法在模拟学生的知识掌握状态时,忽视了记忆和部分遗忘的行为,难以准确评估学生在上下文背景下的知识掌握状态。根据现有研究中知识概念分布和模拟知识掌握状态中的不足,本文从“多样化分布和“上下文信息两个方面来改进基于注意力机制的知识追踪方法。本文的主要研究工作如下:（1）基于多样化概念注意力的知识追踪方法现有知识追踪方法只考虑单一知识概念对新出现问题的影响,忽视了题目中多种知识概念间的相互影响。因此,本文构建了一个多样化概念网络DCN（Diversified Concept Network）,明确标注习题中多种知识概念的相互关系,结合多样化语义网络DSN（Diversified Semantic Network）,提升现有知识追踪方法的性能。首先,从智能教学系统获取答题数据,分析习题文本信息的依存关系。其次,通过DCN提取学生答题中所含的知识元素。再次,采用DSN对大量的知识元素进行相似性提取,并整合为知识概念。然后,计算待测问题所需知识概念与学生已回答习题包含知识概念间的注意力分数。同时预测学生对新出现问题的回答表现,以制定合理的学习策略。最后,在四个公开数据集上与流行的知识追踪方法进行对比实验,验证本文方法的有效性。结果表明,考虑多种知识概念来改进注意力机制的方法可以提升知识追踪模型预测学生表现的准确性。（2）基于双向记忆强化注意力的知识追踪方法现有知识追踪方法只考虑知识掌握状态的单向性传播,忽略了学生具有记忆和遗忘的特点。因此,本文构建了一个双向记忆强化网络BMEN（Bidirectional Memory-Enhanced Network）,着重分析每个学习时刻前后知识掌握状态之间的相互作用,并进行知识掌握状态的双向更新,提升现有知识追踪方法的性能。首先,从智能教学系统获取答题数据,分析习题所包含的知识概念。其次,通过BMEN获取过去和未来的知识掌握状态,更新上下文信息影响后的知识掌握状态。然后,计算待测问题所需知识概念与学生已回答习题包含知识概念间的注意力分数。同时预测学生对新出现问题的回答表现,以制定合理的学习策略。在四个公开数据集上与目前流行的知识追踪方法进行对比实验,验证本文方法的有效性。结果表明,考虑记忆和遗忘来更新知识掌握状态的方法可以提升知识追踪模型预测学生表现的准确性。