基于深度学习的点选中文验证码识别研究

作     者：方绍雷 

作者单位：南昌大学 

学位级别：硕士

导师姓名：徐知海;朱禹涛

授予年度：2024年

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 08[工学] 081104[工学-模式识别与智能系统] 080203[工学-机械设计及理论] 0802[工学-机械工程] 0835[工学-软件工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主      题：点选中文验证码 YOLOv5s 验证码识别 目标检测 

摘      要：随着网络技术的发展和互联网的普及,网络安全问题越来越得到重视,验证码(CAPTCHA)成为了一种常见的安全机制,用于确认访问者是真实人类还是自动化程序。通过对验证码识别技术研究,对于验证码设计和优化方面都有重要意义。目前,由国内自主设计的点选中文验证码在各大网站上流行,其验证方式是用户按照验证码中提示汉字字符部分对复杂图片中的文字按照提示顺序进行点击。目前,关于此种验证码的识别方法研究效果欠佳,准确度不高的问题。本文针对点选中文验证码识别方面做研究,提高了识别效果。点选中文验证码识别最关键的是正确点击文字部分,而此验证码待点击的文字存在复杂背景干扰,提示部分汉字有粘连问题,导致识别效果不高。针对于此,本文以YOLOv5s模型为基础算法,对各个模块深入研究,提高识别效果,主要工作如下: (1)构建点选中文验证码数据集。对验证码的数据集进行收集、标注。对收集到的数据存在不平衡、样本量小的问题,采用数据增强方法来解决。 (2)为了应对复杂背景导致的对汉字干扰强、难定位等问题,在YOLOv5s中的Backbone模块加入CBAM注意力机制。引入的CBAM注意力机制结合了空间注意力和通道注意力两部分,提高了模型抗干扰能力,可以加强网络对汉字特征提取,对点选中文验证码中汉字识别提高3.8%的mAP。 (3)为了应对图片中单个中文复杂多变的形态结构等问题,将Backbone中部分普通卷积Conv的卷积核替换为为动态蛇形卷积(DSConv)能够对点选中文验证码图片中汉字细小脆落的局部结构和复杂多变的全局形态特征进行学习,最终提高5.6%的mAP。 (4)为了应对汉字部分背景相掩问题,在Neck加入Bi-FPN,能更好的将底层和顶层相融合,增强模型表达能力和对不同大小目标的感知能力。通过引入BiFPN结构,让验证码的特征图包含更多的信息,提高了5.8%的mAP。 通过对实验结果的分析后,改进之后模型整体收敛性显著提升,并比原生YOLOv5s在本文数据上mAP提高了8.1%。