基于Spark框架的大数据计算平台
作者机构：杭州中软安人网络通信股份有限公司浙江310012
出 版 物：《网络安全技术与应用》 (Network Security Technology & Application)
年 卷 期：2020年第3期
页 面：65-66页
学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)]
基 金：国家发改委大数据发展重大工程项目“面向市场环境治理的政务大数据服务平台”
摘 要：随着互联网和计算机技术的发展,各行各业包括人们的日常生活都在不断产生数据,数据量成几何倍数增长,单台计算机已无法完成数据处理。为了解决单机无法完成海量数据处理的问题,本文采用Hadoop分布式计算平台来解决这个问题。Hadoop的Spark模型是新兴的数据梳理引擎,Spark可直接在内存中读取弹性分布式数据集的数据,避免了I/O的频繁操作,并大大提高了数据处理速度。
维普期刊数据库
同方期刊数据库