数据驱动的三维场景视点挖掘和评价

作     者：周文喆 

作者单位：南京大学 

学位级别：硕士

导师姓名：郭延文

授予年度：2016年

学科分类：08[工学] 080203[工学-机械设计及理论] 0802[工学-机械工程] 

主      题：机器学习 三维渲染 相机参数恢复 视点评价 

摘      要：随着数码相机和智能手机的普及,拍照已经成为现代人们的日常需求之一。建筑是人们最常拍摄的素材之一,但由于缺乏摄影学和美学等专业知识背景,普罗大众对如何较好地拍摄高质量且具有美感的建筑照片通常缺乏认知。选择合适的拍摄地点和视角的是拍好照片的关键因素之一。本文对包含单个地标性建筑的自然场景图像中的拍摄视点的定位及评价问题展开研究,试图为非专业摄影者在拍摄建筑的具体地点及视角选择上提供指导和参考。具体来说,本文工作主要包括以下几个方面：(1)建筑场景图片的视点估算算法。给定一个建筑的网格三维模型和大量的该建筑实拍图片,该算法能够自动恢复出每张图片在网格三维模型坐标系下的相机参数。算法首先应用运动结构重建(Structure from Motiion),提取尺度不变特征转换(Scale-invariant feature transform,SIFT)描述子以建立图像之间的匹配。该过程运行完毕后可以得到含有该建筑部分区域的点云三维模型,以及每张图片在点云模型坐标系下的相机参数。再在网格三维模型和点云模型上标记对应点,建立优化方程并使用莱文贝格—马夸特方法(Levenberg-Marquardt algorithm)求解出模型之间的变换。最终将变换叠加,得到图片在网格三维模型坐标系下的相机参数。(2)建筑场景中视点聚集性分析。对各张图片的相机参数进行反推,可以得到每张图片在场景中的具体拍摄位置、相机姿态等信息。在给定场景的情况下,我们的交互程序将这些信息呈现给用户,方便他们选择合适的拍摄地点。更进一步地,我们在各个场景的视点集合上应用均值漂移(Mean-shift)聚类算法,更有效地展现出各个场景中视点的聚集性。(3)建筑照片的质量评价方法。引入机器学习作为主要方法,去解决著名建筑物摄影作品的评价问题。在特征提取阶段,我们除了使用图像的二维特征,还利用了视点标定结果中每张图像的视点,计算出模型在该视点下的三维几何特征。在训练阶段,我们使用支持向量机(SVM)分类器学习用户对建筑图片的评价,并结合AUC度量进行参数调优。经实验验证,结合使用二维和三维特征进行训练,能够有效提升建筑图片评价的效果。该应用还可以帮助设计师选取合适的视点,合理地展现虚拟三维场景。