面向腹腔微创手术的增强现实三维影像导航技术研究

作     者：朱元瑞 

作者单位：哈尔滨工业大学 

学位级别：硕士

导师姓名：杜志江

授予年度：2019年

学科分类：0831[工学-生物医学工程（可授工学、理学、医学学位）] 100207[医学-影像医学与核医学] 1006[医学-中西医结合] 1002[医学-临床医学] 1001[医学-基础医学(可授医学、理学学位)] 08[工学] 1010[医学-医学技术（可授医学、理学学位）] 080203[工学-机械设计及理论] 0802[工学-机械工程] 100106[医学-放射医学] 100602[医学-中西医结合临床] 10[医学] 

主      题：肝脏图像分割 三维重建 图像配准 路径规划 增强现实 

摘      要：肝脏微创手术,可以减少创伤,缩短恢复时间,但同时也带来了一系列问题。在微创手术过程中,医生通过腹腔镜获得的图像,视野有限,缺乏深度信息,与术前规划存在分离。为解决这些问题,本文将增强现实技术应用在导航系统中,研究面向腹腔微创手术的增强现实三维影像导航技术。该方法突破了腹腔镜视野限制,建立了术前术中图像的可视化联系,并对手术路径进行规划和AR显示。首先,研究了CT图像中半自动分割肝脏图像的方法。对区域生长法的弊端进行了分析,结合肝脏图像实际情况,改进了区域生长法判断函数,并确立了结合改进的区域生长法、Snake算法、形状描述符的肝脏分割方法,并与手工分割图像进行了对比;分析了面绘制与体绘制两种三维重建方法的优缺点,采用了体绘制中的光线投影法对分割出的各组织图像进行三维重建,并分析重建的精度。其次,为实现3D-3D的术前术中图像配准,对肝脏腹腔镜图像进行了三维重建。重建采取双目视觉特征配准的方法,首先对腹腔镜图像进行了预处理,设计了结合平滑处理和拉普拉斯变换的滤波方法,增强了图像的细节;对于手术器械对肝脏图像的遮挡,改进了传统的帧间差分法,实现了遮挡图像的去除;应用了Grabcut算法,识别腹腔镜图像中的肝脏区域;采用了Surf算法及FLANN匹配器进行了特征的识别与配准,对匹配的特征对进行了基于Lowe’s算法和欧氏距离的两步筛选;基于对极几何对特征点的三维坐标进行了计算,重建出了肝脏的表面点云。随后,研究了术前术中图像的多模态配准方法,采用了3D-3D的配准方式。首先基于棋盘格对相机参数进行了标定;对ICP点云配准的弊端进行了分析,确定了结合轮廓配准和点云律属集合配准的两步配准方式,完成了影像导航系统的三维注册;采用基于标识的增强现实显示方法,对转换矩阵进行计算、分解,成功实现了肝脏模型的AR显示。最后,研究了术前手术路径的规划方法,根据手术路径规划要求,确定了人工势场法的路径规划方式。对传统的人工势场法规划效果进行了分析,针对其弊端改进了引斥力场函数,将传统势场的静态建立方法改进为动态建立。对改进前后的算法效果进行了对照分析,讨论了改进后的优缺点