基于特征融合的自然场景文字检测方法研究

作     者：卢瑶瑶 

作者单位：武汉理工大学 

学位级别：硕士

导师姓名：林泓

授予年度：2019年

学科分类：08[工学] 081104[工学-模式识别与智能系统] 080203[工学-机械设计及理论] 0802[工学-机械工程] 0811[工学-控制科学与工程] 

主      题：自然场景 文字检测 特征融合 划分尺度 聚焦损失 

摘      要：自然场景图像中的文字检测是计算机视觉领域的一项重要研究内容。由于自然场景的复杂性、文字本身多样性以及图像质量等因素的影响,该类图像的文字检测任务具有挑战性。本课题围绕深度学习的自然场景图像文字检测展开研究和改进,提出多尺度任意方向的自然场景文字检测方法。主要研究内容和创新如下:（1）研究多尺度特征融合的特征提取方法。针对文字特征提取阶段未充分利用卷积各中间层信息的问题,提出一种多尺度特征精细化融合的特征提取方法。该方法基于特征金字塔FPN结构,在残差网络ResNet50中加入全局平均池化层GAP进行预训练以得到更多的全局信息同时降低过拟合,以多尺度输入的特征精细化融合网络RefineNet作为FPN的横向连接模块,得到特征表示更充分的模型用于后续检测任务。实验表明多尺度特征精细化融合方法提高了检测精度,并为后续文字检测提供了技术支撑。（2）研究划分文字尺度的水平文字检测方法。针对单一尺寸特征图难以适应多尺度文字检测的问题,提出一种基于文字尺度划分的水平文字检测方法。考虑不同尺度的特征图对文字尺度的敏感度不同,按文字标注框长边将文字划分为三种尺度范围,将不同尺度范围内的标注框分散到三个候选区域提取网络RPN中进行训练,对其后的三个预测网络的检测结果进行合并和去重,得到分层检测模型以适应尺度变化较大的文字,实验表明划分尺度的方法提高了水平方向的文字检测精度。（3）研究聚焦难样本损失的任意方向文字检测方法。针对水平检测框难以贴合真实文字排布方向及特征旋转变化的问题,在划分尺度的水平文字检测模型的回归网络中增加旋转对称的角度通道,实现了任意方向上的文字检测。针对模型训练过程中难样本学习不充分的问题,将难样本问题扩展为难分类和难回归两个问题,分别设计聚焦难样本的损失函数,重点学习难样本特征以提高模型的分类准确率和定位准确率。实验表明增加角度训练和聚焦难样本损失的方法提高了多方向上的文字检测精度。