基于大数据的在线教育视频评分系统设计

作     者：刘昱萌 

作者单位：陕西科技大学 

学位级别：硕士

导师姓名：刘斌

授予年度：2022年

学科分类：12[管理学] 0401[教育学-教育学] 04[教育学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 040110[教育学-教育技术学（可授教育学、理学学位）] 

主      题：大数据 教育视频 评分系统 Spark LGB-FFM-LR LSTM-LightGBM 

摘      要：近年来,在线教育资源日益丰富,数量呈现指数型的增长,资源的类型也从传统的文字、图片向音、视频等多媒体信息转变。视频教育资源优势明显,但由于其内容的隐蔽性,给学习者带来了搜索和选择的困难,有必要对在线教育视频学习资源进行评分,为学习者提供选择依据。但现有的视频评分系统多基于用户的评论和打分等主观因素,缺乏客观性,无法真实反映视频质量。为了真实评价在线教育视频资源,解决评分主观性问题,在分析当前视频评分规则和评分依据的基础上,对用户行为数据、课程信息、用户基本信息等大数据进行分析处理,改进评分预测算法,基于大数据技术搭建在线教育视频评分系统,从而实现在线教育视频的精准评分预测。主要工作如下:(1)评分预测算法的研究与改进。对现有的LightGBM、FFM、LR、LSTM评分算法进行对比分析,利用各个算法优势,结合评分系统大数据的特点,设计了两种集成评分预测算法模型。由于数据特征对最终评分结果影响较大,本文利用集成算法挖掘用户隐藏特征,进行特征重要性排序。充分考虑高维特征和低维特征融合对评分结果的影响,构造特征工程实现精准评分。并对集成模型和单个算法进行了对比实验,实验结果表明集成模型LGB-FFM-LR和LSTM-LightGBM模型评分预测效果均优于单一算法,LSTM-LightGBM模型相较于现有主流评分算法预测结果更加准确、稳定。(2)在线教育视频评分系统的设计。在对分布式采集框架、存储系统、并行计算框架等开发技术和相关理论分析的基础上,进行评分系统的需求分析,基于Hadoop与Spark等大数据开发组件完成评分系统的搭建。设计并实现了数据采集、数据存储、数据分析等功能模块。在此基础上,采用Spring MVC框架及Tableau可视化工具实现了相关数据的可视化呈现。分别从课程热频分布、年龄及性别分布、兴趣评分、用户行为数据评分、兴趣评分等十个维度进行可视化展示,给用户提供直观丰富的视觉效果,便于用户检索、选择在线教育视频。与现有主流评分算法的对比实验结果表明,本文提出的LSTM-LightGBM 算法的评分预测结果更加贴近真实评分,适用于在线教育视频数据的并行计算和实时计算需要,据此设计的评分系统可以在线实时挖掘视频数据的隐藏特征向量、更新离线评分数据,从而实现了更为精准的在线教育视频内容评价。