基于数据挖掘的大学生上网行为分析

作     者：孙全超 

作者单位：青岛科技大学 

学位级别：硕士

导师姓名：顾海明

授予年度：2020年

学科分类：040106[教育学-高等教育学] 12[管理学] 0401[教育学-教育学] 04[教育学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 

主      题：NiFi ES Spark 数据平台 高校信息化 上网行为分析 

摘      要：本课题立足于高校各业务部门的实际需求,从统一规划的全局设计理念出发,研究设计了适用于高校管理、决策的智慧学工大数据平台。在学工大数据平台建设过程中,本文解决了高校各业务系统海量数据采集、存储、处理分析的难题,提高了高校决策管理信息化的水平、增强了各级管理部门的工作效率以及精细化管理的力度,为高校的决策管理提供数据支持。本文以高校各业务部门的实际需求为驱动,利用先进的架构理念,打造集业务系统数据查询、功能管理、信息交互、决策支持为一体的高校智慧学工大数据平台。提出学工数据平台体系架构,采用数据采集工具NiFi完成业务系统数据的实时抽取;采用Elasticsearch作为平台的数据仓库进行海量业务系统数据的实时存储;采用分布式计算工具Spark完成对数据的实时并行处理并通过其计算框架MLlib对各业务系统数据深度挖掘;最后采用Echarts作为平台前端,通过图表的形式将数据的分析结果可视化展示。本文对平台用到的模型进行分析讨论,并建立精准资助模型用以发现群体中的贫困生,结果显示模型准确率达到80%以上。数据平台共分为九大模块,本文对每个模块的功能进行分析讨论并给出模块的界面展示图。本文利用平台,对用户的上网日志数据进行分析。包括用户群体的上网时长、浏览网址类型与学习成绩的关系,个体用户的上网时长、时段等,以及用户对网贷网址、游戏网址、图书馆资源等的使用情况。并将分析的结果可视化。截止目前,平台在测试推广过程中得到了学校各部门管理人员、各学院辅导员、以及在校学生的认可,不久将正式上线并广泛推广。本文对数据平台的研究不仅具有实用价值,而且对高校信息化建设具有借鉴意义。