大数据管理实训辅助评分工具设计与实现

作     者：周辉阳 

作者单位：华中科技大学 

学位级别：硕士

导师姓名：周英飚

授予年度：2022年

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 

主      题：大数据管理实训平台 辅助评分工具 并发判题 相似度哈希 预定位动态布隆过滤器 

摘      要：随着互联网的高速发展,教育行业与互联网技术相结合,辅助课程教学的在线实训平台应运而生。其中,大数据管理实训平台为学生提供了虚拟实验环境、实验环境自动化部署、实验资源监控等功能辅助学生在线实训。而如何让学生在课程实训过程中获得对自己完成的实验代码正确性以及其他评判维度的反馈,以及针对大数据量下的实训题目能够快速返回评判结果成为该平台一项需要解决的问题。基于上述背景及需求,设计并实现了一个大数据管理实训辅助评分工具,支持多种数据库在不同题型下的判题解决方案。同时,通过对实验语句的关键字、操作类型、执行计划等方面解析对比来检验实验方式的正确性,结合实验结果正确性以及实验执行性能来综合给定实验分数。相较于传统的实验结果比对或者代码相似度比对等评分方式,给出的多梯度实训分数更加合理客观。此外,该辅助评分工具针对大数据量结果集数据量大、记录顺序不一致等问题提供了两种快速比对方式:一是基于多线程Simhash结果集快速比对方法;二是提出了预定位动态Bloom Filter算法,通过预定位hash以及最长匹配法等方式进一步提高了查找速度并降低了误判率,实现了结果集的抽样比对。为应对并发判题场景下的判题请求压力,通过微服务架构部署各个功能模块,依据访问压力来拓展节点,从而提供快速判题响应。最后通过与Shingle算法、Simhash算法对比,验证多线程Simhash算法能够有效提高结果集评判对比速度;与其他Bloom Filter算法对比,验证设计的预定位动态Bloom Filter能够有效提高查询速度、降低误判率、优化空间使用情况,同时预定位动态Bloom Filter抽样比对能有效提高结果集比对速度。通过设计Neo4j和Mongo DB典型实验验证了各个接口功能完整可用,辅助评分工具实际表现符合设计预期,且能够对不同实验结果形成多梯度分数,能够给课程实训提供良好辅助。