基于WebRTC和人脸识别的在线项目评审系统设计与实现

作     者：周文强 

作者单位：南京邮电大学 

学位级别：硕士

导师姓名：刘峰

授予年度：2022年

学科分类：08[工学] 080203[工学-机械设计及理论] 0804[工学-仪器科学与技术] 080402[工学-测试计量技术及仪器] 0802[工学-机械工程] 

主      题：项目评审 视频会议 WebRTC WebSocket 人脸识别 卷积神经网络 

摘      要：随着社会信息化建设的不断推进,为了解决项目评审中时间长、效率低,且疫情共存时代无法线下答辩的问题,本文设计并实现了基于Web RTC和人脸识别的在线项目评审系统。本系统可以在不安装任何客户端、插件的情况下,完成项目评审流程中的所有环节,并实现了包括人脸识别登录验证、Web端视频会议等功能。本文主要的研究和工作如下:（1）针对Web端的视频会议技术展开研究,设计并实现了基于Web RTC的实时音视频通信框架。首先对视频会议的通信架构进行设计,采用了SFU架构并搭建Kurento媒体服务器实现音视频流的处理和转发;针对常见的会议信令设计了会话管理机制,并通过信令服务器实现会话管理、媒体协商和网络协商;研究了SFU模式下基于Web RTC的音视频实时通信建立连接的流程,设计并实现了基于会议房间的即时消息通信。最后,对基于Web RTC的音视频实时通信进行性能分析,结果表明,本系统实现的音视频通信可以满足Web端视频会议的需求。（2）针对在线评审的身份认证问题,提出了一种基于演化卷积神经网络的人脸验证优化方法。首先对遗传算法的自适应策略做出改进,对卷积神经网络映射到染色体容易出现遗传算子失效的问题,采用了一种新的编码方式,并利用改进后的遗传算法以及新的编码方式来对卷积神经网络的参数进行全局调优,通过不断演化寻找最佳的网络参数。实验结果表明,所提出的演化卷积神经网络可以得到更好的人脸识别准确率,改进后的遗传算法可以有效提高寻找全局最优解的速度。（3）根据项目评审系统的相关要求,确定了角色用例以及业务流程,并对系统架构和数据库实体进行了设计和实现。将系统按功能划分为了人脸验证模块、项目评审模块和视频会议模块,设计了轻量级卷积神经网络并自建数据集进行训练,实现了基于Web端的人脸识别登陆验证;采用Java Web技术实现了项目申报、评审的业务逻辑;实现了基于Web RTC框架的实时音视频通信和即时消息通信,用于线上答辩功能。最后,对系统的兼容性做出了分析,编写测试用例并对系统进行全面的功能性测试。结果表明,在网络带宽正常的情况下,本系统的各项功能正常,且具有良好的跨平台性,满足使用要求。