咨询与建议

看过本文的还看了

相关文献

该作者的其他文献

文献详情 >基于深度学习的动态软组织三维重建方法研究 收藏
基于深度学习的动态软组织三维重建方法研究

基于深度学习的动态软组织三维重建方法研究

作     者:姚冠 

作者单位:电子科技大学 

学位级别:硕士

导师姓名:杨波

授予年度:2023年

学科分类:0831[工学-生物医学工程(可授工学、理学、医学学位)] 12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 081104[工学-模式识别与智能系统] 08[工学] 080203[工学-机械设计及理论] 0835[工学-软件工程] 0802[工学-机械工程] 0836[工学-生物工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术(可授工学、理学学位)] 

主      题:软组织 StyleGAN3 生成模型 视差估计 视频生成 

摘      要:自心跳同步概念提出后,在机器人辅助微创手术中高效稳定实时的视觉辅助软组织表面重建方法一直是重要研究内容。精确重建的难点主要在于内窥镜重建中的动态模糊、器械遮挡等,且腔内环境的重建需要有效克服纹理特征稀少、光度不一致的难题。达到重建实时性的难点在于使用的迭代求优法需要耗费大量迭代时间。为此,本文在使用生成模型完成动态软组织3D重建的基础上,进一步探讨更多能优化整个重建过程的方法,主要内容如下:1、本文提出了一种预测—生成模型,用于高效完成立体内窥镜图像视差估计任务。该模型在类周期性运动场景下能够提高视差估计效率,达到实时重建要求。训练过程中,使用-StyleGAN生成伪视差真值数据,并基于此对预测器P进行监督训练。应用过程中,利用映射子网络将输入的双目内窥镜图像映射到低维特征空间,与历史帧编码向量一同预测当前潜在向量初值9)4))。实验结果表明,该方法在动态软组织表面重建任务中具有更高的精度、鲁棒性,单帧重建用时低于0.4秒。2、针对当前内窥镜视频数据缺乏视差真值的问题,本文提出可以生成RGB-D视频数据的视频生成模型StyleGAN-D。在StyleGAN-V基础上,本文换用解决坐标粘连问题的StyleGAN3作为生成器。然后使用时间移位模块对视频上下文内容进行学习理解,得到连续无跳变的视频结果。最后使用B-样条模型平滑运动编码向量,提升了运动连续性。生成的立体内窥镜视频数据集是由RGB-D数据集插值合成的。实验结果表明,由StyleGAN-D生成的视频结果更加真实和连续。此外,本文在合成数据集上验证了预测—生成模型。实验结果与真实数据集一致,这验证了合成数据集的可靠性,并证明了所提出的视差估计方法的有效性。

读者评论 与其他读者分享你的观点