基于文本相似性比对的校内查重系统的设计与实现

作     者：刘华秋 

作者单位：北京交通大学 

学位级别：硕士

导师姓名：张顺利

授予年度：2021年

学科分类：040106[教育学-高等教育学] 12[管理学] 0401[教育学-教育学] 04[教育学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 

主      题：查重系统 论文查重 文本查重 

摘      要：随着计算机网络的发展,各领域信息化的趋势也在不断加强,在进行文字写作时我们可以更加轻易地检索到用于参考的信息。但同时,防止文书写作时的抄袭现象也是十分必要的。目前,高等学校对于学术不端的重视程度日益提高,对论文、作业的查重需求也与日俱增,然而目前已有的查重系统大都只能提供基于文献数据库的查重,对于学校的内部数据查重尚没有非常成熟的解决方案。校内查重系统的开发可以补齐学校内部数据查重的短板,让更多人意识到学术道德建设的重要性,对于强化提高学校内各类文书写作的原创性、保护知识产权、打击学术不端具有较强的现实意义。校内查重系统可以对学生作业等不会被文献数据库所收录的数据进行纵向和横向查重,也可以对应届生论文等因收录存在延时无法被文献数据库即时收录的数据进行内部查重。同时本系统支持纯私有化部署,部队院校等有数据保密需求的机构也可以放心使用。该系统主要服务于学校、学院、教师和学生四类用户。学校用户对系统进行整体配置和管理;学院用户可以管理本学院的论文数据库以及本学院所拥有的教师和学生信息,对学生的论文发起横向、纵向查重任务并导出查重报告;教师用户可以管理自己的学生作业数据库,并可以批量对学生的作业发起横向、纵向查重任务;学生用户可以在系统中上传自己的论文进行纵向查重,并下载自己的查重报告。同时,如果本系统独立部署至多个学校,在学校互相授权的情况下,支持在多个系统间进行论文库共享。本人独立主持了该项目并进行了项目的需求分析、后端部分的架构设计、研发与测试。后端部分遵循微服务架构的设计原则划分为查重核心系统和查重业务系统两个子系统。项目研发过程中使用My SQL、H2作为数据存储工具,在最小编辑距离和Aho-Corasick算法的基础上设计了基于文本相似性的查重算法,并改进了原有算法在文本查重这一应用场景下的性能。目前本文中所述的查重算法及查重系统已经应用至多家学校及企业,为数十万终端用户提供了查重服务。