基于Harris-SIFT算法和全卷积深度预测的显微镜成像的三维重建研究

作     者：张宝祥 玉振明 杨秋慧 ZHANG Baoxiang;YU Zhenming;YANG Qiuhui

作者机构：广西大学计算机与电子信息学院广西南宁530004 梧州学院机器视觉与智能控制广西重点实验室广西梧州543002 梧州学院大数据与软件工程学院广西梧州543002 

出 版 物：《光学精密工程》 (Optics and Precision Engineering)

年 卷 期：2022年第30卷第14期

页      面：1669-1681页

核心收录：

学科分类：1305[艺术学-设计学（可授艺术学、工学学位）] 13[艺术学] 08[工学] 081104[工学-模式识别与智能系统] 0804[工学-仪器科学与技术] 081101[工学-控制理论与控制工程] 0811[工学-控制科学与工程] 

基　　金：广西科技重大专项创新驱动重大专项项目(No.桂科AA18118036) 国家自然科学基金青年基金项目(No.62002268) 

主　　题：显微镜 三维重建 特征检测 深度估计 MVS深度图 

摘      要：针对珠宝、矿物和金属样本等立体标本在显微镜局部放大观测时存在弱纹理、反光等问题,本文提出了一种适用于显微镜应用场景下基于特征提取的多视图立体三维重建算法。将显微镜镜头角度固定,通过移动载物台对立体标本进行多角度成像获得图像序列。通过将Harris与SIFT算法的优势相结合将原本SFM方法重建中的SIFT算法改进为Harris-SIFT算法进行特征提取与匹配,提升了对显微图像在弱纹理区域特征信息提取的性能。通过使用与深度残差网络相结合的全卷积神经网络对输入的图像进行深度估计和预测,将预测的深度信息通过阈值法与MVS深度图相融合,对MVS深度图进行修正,重建出物体的稠密点云,提升了重建结构完整性并提取到更多的点云数目。在基恩仕VHX-6000数码显微系统进行实验表明,本算法比原始MVS重建算法重建的点云模型点云数目多31.25%,整体重建时间节省了21.16%。