基于Spark Streaming的视频大数据并行处理方法

作     者：张元鸣 虞家睿 陆佳炜 高飞 肖刚 ZHANG Yuan-ming;YU Jia-rui;LU Jia-wei;GAO Fei;XIAO Gang

作者机构：浙江工业大学计算机科学与技术学院浙江杭州310023 

出 版 物：《计算机工程与科学》 (Computer Engineering & Science)

年 卷 期：2021年第43卷第10期

页      面：1736-1743页

学科分类：08[工学] 0835[工学-软件工程] 081202[工学-计算机软件与理论] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：浙江省自然科学基金(LY19F020034) 计算机体系结构国家重点实验室开放课题(CARCH201804) 

主　　题：视频大数据 并行处理策略 帧间相关分析 帧间无关分析 

摘      要：视频设备被广泛应用于公共区域、智能交通和工业生产等许多领域,其产生的视频数据具有体量巨大、速度极快、价值稀疏和完全非结构化等大数据典型特征。为了进一步提高视频大数据的处理性能,提出了一种基于Spark Streaming的视频大数据并行处理方法,设计了基于Spark Streaming的视频大数据并行处理框架,针对帧间无关分析算法和帧间相关分析算法分别给出了并行化策略,前者利用数据并行机制将去冗余后的视频帧映射到不同节点并行处理,后者利用流水线并行机制将分析算法的各个算子根据依赖关系映射到不同节点并行处理;结合实际应用对并行处理框架和并行化策略进行了评价,设计了电梯乘客数并行检测算法和电梯门异常并行检测算法,当节点数增加到16个时,电梯乘客数检测算法的性能加速比为615%,电梯门异常检测的性能加速比为253%。