基于计算机视觉的视障人士避障导盲系统

作     者：方文斌 

作者单位：上海交通大学 

学位级别：硕士

导师姓名：杨小康

授予年度：2018年

学科分类：0831[工学-生物医学工程（可授工学、理学、医学学位）] 1004[医学-公共卫生与预防医学(可授医学、理学学位)] 08[工学] 080203[工学-机械设计及理论] 0802[工学-机械工程] 10[医学] 

主      题：单目视觉 特征点匹配 TPVM技术 相机标定 视觉辅助 

摘      要：据数据统计,全球目前共有2亿8千5百万人患有视力障碍疾病,这其中又有约3900万人为全盲人士,剩下的2亿4千6百万人士为视力不同程度受损。视觉作为人类的重要感觉之一,在日常生活中扮演了重要的角色,视力的丧失会使人们丧失基本的活动和识别能力,因此视力障碍也成为了社会的重点关注点之一。目前已有的视障人士辅助产品大多存在功能单一、设备繁重、技术落后且更新慢等特点,而随着近些年的机器视觉技术的不断发展和突破,包括相机标定、图像识别和匹配算法、三维重建技术、视觉增强等技术的不断更新和优化,将机器视觉应用到视力障碍人士辅助系统中也逐渐成为热门方向之一。同时,硬件条件的不断发展,将复杂的图像算法嵌入到体积轻巧的便携式移动设备中也逐渐变得可能,将辅助设备对视障人士造成的负担减到最小。本文结合计算机视觉领域的相关处理技术和新兴的显示技术TPVM技术提出了一种新的针对视力障碍人士的避障导盲系统,主要针对视力障碍人士在日常生活中遇到的障碍物避免问题和路面状况识别问题提出了一种新的解决方案,并通过理论算法和实验分析两个途径对方案的具体实施细节进行了探讨和实现,并从实验结果的分析上论证了本方案的有效性和可用性。本系统主要针对上述视觉辅助中的常见问题提出了以下算法:一是基于特征点匹配的单目测距算法,利用单目视觉技术,结合特征点匹配原理,通过对比特征点在两幅或多幅图片中的位置关系,并结合坐标系之间的转换关系确定特征点在图片中的深度信息,以此来确定障碍物的距离信息。目前主要的特征点匹配算法有SIFT、SURF,在本文中,就这几种算法的原理进行了简要探讨并就这几种算法在不同的环境中（如图像角度或亮度变化等）的算法性能进行了对比实验和分析。单目测距算法主要用于对障碍物进行测距,辅助盲人进行避障。二是基于TPVM技术的能够隐藏信息的投影功能,TPVM技术主要通过利用人眼的视觉冗余结合高刷新帧率的显示器之间的巧妙配合,使得显示器可以在可见的光谱中提供多于人眼的处理系统能够捕捉的信息量。正是基于这一原理,可以使得人眼与具有同步效果的眼镜或者相机针对同一投影图案获取到不同的图像信息,这样便可以做到对部分投影信息的隐藏。三是基于类似结构光投影技术的路面状况识别功能,该功能利用上述提到的TPVM投影功能对路面进行类似结构光信息的投影并将结构关信息对人眼隐藏而避免不适感,并通过对获取到的图像集进行分析处理,帮助视障人士对路面状况进行分辨。具体实现算法主要利用传统的图像处理和特征提取（比如线段）算法结合ID3分类算法对数据进行建模构建分类决策树,最终通过语音的形式实时反馈给使用者相关的路面状况信息。本系统通过对上述视觉辅助技术搭建了一个完整的针对视力障碍人士的避障导盲系统,可以帮助视障人士做到基本的避障和路况分辨能力,并最终将部分功能移植到移动设备上,提升了系统的便捷性。