检索结果-南通市图书馆

在线全文

学校读者我要写书评

暂无评论

融合视频与三维场景的增强虚拟环境

融合视频与三维场景的增强虚拟环境

作者：崔晓亮中国科学院大学(中国科学院深圳先进技术研究院)

学位级别：硕士

随着经济的发展和科技的进步,部署在同一个园区和场景下的监控相机越来越多,传统的分屏多画面监控系统已经越来越无法满足人们的需求:相互割裂的多路监控画面,不利于用户对运动目标进行分析和追踪;面对数量庞杂的二维监控画面,用户也很... 详细信息

随着经济的发展和科技的进步,部署在同一个园区和场景下的监控相机越来越多,传统的分屏多画面监控系统已经越来越无法满足人们的需求:相互割裂的多路监控画面,不利于用户对运动目标进行分析和追踪;面对数量庞杂的二维监控画面,用户也很难对监控场景建立直观的三维空间感知和全局视野。于是一些学者先后提出了基于增强虚拟环境的智能监控系统,将监控视频作为真实信息叠加到虚拟的三维环境中,实现了将视频内容从二维到三维的映射和转换。然而其中许多系统的三维虚拟环境搭建过程中都需要人工建模并进行相机标定,费时费力。此外,这些系统在处理多视频重叠区域时,都采用了缝合的方式进行拼接,然后再与三维场景进行叠加,这种方式的缺点是只能从视频拍摄视角获得较好的观察效果,在其它视角下观察会出现严重的扭曲现象。针对这些问题,本文提出了一种实时融合多个监控视频的增强虚拟环境系统,用户可以通过此系统从手机或者无人机拍摄的图像中快速重建静态的三维虚拟场景,然后用户可以在融合了多个监控视频的三维虚拟环境中自由探索,通过鸟瞰视角观察整个场景,并任意视角下得到合理的观察结果,从而获得更加直观和全局的体验。本文的主要贡献如下:(1)提出了一个基于三维重建算法实现的全自动三维虚拟场景重建流程,建模和相机标定过程不需要人工介入,提高了效率。(2)提出了三种算法与策略,分别为:基于拍摄角度和图元面积占比的最优纹理选择策略为三维场景着色,提升了三维虚拟环境的视觉效果;基于动态纹理的多视频与虚拟环境融合策略,适用于大场景和高机位拍摄的视频,该策略根据用户的观察相机位姿实时选取最优的视频纹理并进行混合,能够有效减少纹理的扭曲现象,使得用户能够从任意视角获得合理的观察结果;基于前景提取的多视频与虚拟环境融合策略,适用于小场景和低机位拍摄的视频,该策略首先从视频中提取前景即运动对象,然后对前景进行标定并基于其轮廓生成对应的三维模型,帮助用户更好地追踪和理解前景在三维空间中的运动。多个真实场景下的实验表明本文实现的增强虚拟环境系统能够有效地将多视频与三维场景进行融合,提高了用户对多路视频内容的直观三维理解和全局感知能力。

关键词：增强虚拟环境视频融合虚实融合监控视频

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

增强虚拟环境中的云台相机自动注册方法研究

增强虚拟环境中的云台相机自动注册方法研究

作者：佟家兴武汉大学

学位级别：硕士

自视频监控系统从传统的模拟视频监控、数字视频监控阶段发展成为第三代网络视频监控阶段以来,其应用场景、功能服务和衍生技术逐渐多元化,融合监控视频和三维地理信息所产生的增强虚拟环境成为热门应用;但目前关于增强虚拟环境的研究... 详细信息

自视频监控系统从传统的模拟视频监控、数字视频监控阶段发展成为第三代网络视频监控阶段以来,其应用场景、功能服务和衍生技术逐渐多元化,融合监控视频和三维地理信息所产生的增强虚拟环境成为热门应用;但目前关于增强虚拟环境的研究主要集中于固定枪机视频的注册显示,对相机位姿可变的云台相机的视频注册问题讨论较少。本文为了将云台相机所拍摄的实时视频图像信息在增强虚拟环境中进行动态注册,对云台相机的自动注册及参数自适应更新方法进行了相关的研究和分析,针对传统相机标定求解复杂、应用繁琐,难以应用于增强虚拟环境中的问题,设计了一种简化的云台相机初始化注册和相机参数自适应更新方法,该方法的主要研究内容和研究成果如下:(1)本文提出虚拟影像的概念并介绍了其相关的技术原理,分析了三维虚拟环境中的顶点处理及显示方法,并描述了从虚拟影像及其深度图中恢复顶点三维空间地理坐标的方法;面对视频影像在三维场景中的注册问题,探索并应用了基于Shadow Map算法的纹理映射方法并对其算法处理流程进行了阐述。(2)为了研究相机在真实世界中的地理位置、旋转姿态和焦距等信息如何作为必要的参数来描述相机在虚拟三维环境中的位姿,本文对基于小孔成像原理所推导的相机模型进行了分析,并对其齐次线性方程组和非齐次线性方程组这两种形式直接线性变换求解方法进行了研究、归纳和整理。(3)针对虚拟影像以及相机拍摄影像的成像特点,探索分析了基于点特征和直线特征的图像特征提取、描述以及匹配方法,建立了基于同名直线特征约束的相机模型求解模型,在此基础上对综合点线特征的云台相机初始化注册方法进行了相关的研究探索和实验论证。(4)分析云台相机的运动特性,根据其拍摄影像的不同探索其在相机发生运动时可能产生的两种情况,从云台相机的局部运动和相机的超限运动等两方面分别设计了基于本征矩阵求解的局部运动注册模型和基于全景图的云台相机半球注册模型,并针对这两种情况进行了相关的实验。(5)通过对以上内容和方法的研究,本文利用三维地理信息平台和相关数据对云台相机在增强虚拟环境中的自动注册问题进行了模拟实验,实验结果证明了上述方法的正确性和可行性,为增强虚拟环境的进一步发展贡献了力量。通过上述工作,本文在很大程度上解决了云台相机在增强虚拟环境中的自动注册问题,对如何将相机位姿的变化反馈到增强虚拟环境中提供了相关的理论方法,对增强虚拟环境以及三维视频GIS的发展产生了一定的贡献,有助于进一步丰富智慧城市的应用研究场景。

关键词：增强虚拟环境云台相机广义点摄影测量特征提取匹配视频自动注册

面向实景三维模型和实时视频图像融合的纹理映射

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

测绘通报 2023年第10期 61-66页

作者：杨松陈崇成福州大学空间数据挖掘与信息共享教育部重点实验室福建福州350108 福州大学地理空间信息技术国家地方联合工程研究中心福建福州350108

针对实时视频与实景三维模型融合时视频纹理存在割裂感、融合边界差异感明显、视频流实时性差等问题,本文提出了一种改进的实景三维模型和实时视频图像融合方法。首先利用倾斜摄影测量技术构建实景三维模型,搭建流媒体实现视频图像向三... 详细信息

针对实时视频与实景三维模型融合时视频纹理存在割裂感、融合边界差异感明显、视频流实时性差等问题,本文提出了一种改进的实景三维模型和实时视频图像融合方法。首先利用倾斜摄影测量技术构建实景三维模型,搭建流媒体实现视频图像向三维场景的实时传输,匹配视频像素与实景模型片元顶点的对应关系;然后引入顾及场景深度的展平映射策略,以消除视频画面融入模型时的纹理割裂感;最后基于距离掩膜使融合接缝处过渡更加平滑。试验结果表明,本文所提映射策略融合效果优异,可消除融合画面的割裂现象和融合边界的突兀感,且在融合多路视频情形下场景帧率保持在50帧/s以上,系统承载力良好,实时性效果好,成果能应用于构建实时虚实融合的数字孪生场景。

关键词：虚实融合视频纹理增强虚拟环境透视投影数字孪生

在线全文

学校读者我要写书评

暂无评论

基于GLSL的多重视频纹理映射与融合

计算机工程与设计 2014年第11期35卷 3873-3878页

作者：简洪登范湘涛中国科学院遥感与数字地球研究所数字地球重点实验室北京100094 中国科学院大学北京100049

为将实时视频与三维场景进行融合来构建大范围增强虚拟环境(augmented virtual environment,AVE),消除融合后出现的反向投影、纹理拉伸、拼缝等现象,实现基于OpenGL着色语言(OpenGL shading language,GLSL)的反向投影剔除算法和深度测... 详细信息

为将实时视频与三维场景进行融合来构建大范围增强虚拟环境(augmented virtual environment,AVE),消除融合后出现的反向投影、纹理拉伸、拼缝等现象,实现基于OpenGL着色语言(OpenGL shading language,GLSL)的反向投影剔除算法和深度测试算法,提出基于GLSL的多重视频纹理的横向加权融合算法和对角加权融合算法。实验结果表明,所提算法能够在显存为1GB的计算机上使包含200万三角面和6路实时视频的三维场景的运行帧率保持在40fps以上,高效地实现了实时视频与三维场景的融合。

关键词：增强虚拟环境实时视频投影纹理映射反向投影深度测试对角加权融合多重视频纹理融合

在线全文

学校读者我要写书评

暂无评论

虚拟现实增强技术综述

中国科学：信息科学 2015年第2期45卷 157-180页

作者：周忠周颐肖江剑北京航空航天大学虚拟现实技术与系统国家重点实验室北京100191 中国科学院宁波工业技术研究院宁波315201

随着近年来计算机三维处理能力的增长和低成本传感显示元件的出现,虚拟现实得到了快速发展,特别是与现实世界产生了越来越多的结合技术,从虚拟和现实的两个角度对虚拟现实进行增强.论文重点围绕近几年的发展趋势,论述了增强现实与增强... 详细信息

随着近年来计算机三维处理能力的增长和低成本传感显示元件的出现,虚拟现实得到了快速发展,特别是与现实世界产生了越来越多的结合技术,从虚拟和现实的两个角度对虚拟现实进行增强.论文重点围绕近几年的发展趋势,论述了增强现实与增强虚拟环境的技术特点,介绍了虚拟现实增强技术的相关硬件设备发展;然后分别介绍了增强现实和增强虚拟环境技术的发展现状,讨论了移动互联网上的虚实增强技术与应用,并结合作者参与ISO/IEC的工作,介绍了相关国际标准制定最新情况;最后进行总结并提出需要解决的问题.

关键词：增强虚拟环境增强现实虚实增强混合现实

在线全文

学校读者我要写书评

暂无评论

海量视频流与三维场景实时集成技术

长江科学院院报 2019年第11期36卷 162-166页

作者：叶松陈喆阚红涛长江科学院空间信息技术研究所武汉430010 鄂北地区水资源配置工程建设与管理局武汉430071

为将视频监控实时投影到工程建设三维场景,研究海量视频流与三维场景实时集成的解决方案,针对多路视频流,通过视频流解码技术获取多路视频影像序列,再联合监控地区的三维模型,通过模型配准来估算视频探头姿态,并完成视频纹理映射;采用... 详细信息

为将视频监控实时投影到工程建设三维场景,研究海量视频流与三维场景实时集成的解决方案,针对多路视频流,通过视频流解码技术获取多路视频影像序列,再联合监控地区的三维模型,通过模型配准来估算视频探头姿态,并完成视频纹理映射;采用多路视频纹理融合技术消除多路视频间的色差接缝,真实还原监控现场的动态信息。实验表明本文方法可将多路视频统一到三维场景之中进行实时映射,实时记录工程现场的真实图像,便于掌握监控现场真实信息,为监控现场安全防护、突发性灾害预警与救援提供依据。

关键词：视频流三维场景增强虚拟环境视频监控纹理映射视频配准纹理融合

在线全文

学校读者我要写书评

暂无评论

移动增强现实交互学习系统的研究与应用

移动增强现实交互学习系统的研究与应用

作者：李雪婷兰州交通大学

学位级别：硕士

增强现实（Augmented Reality,AR）技术是将虚拟环境与真实环境进行匹配合成,以达到对真实环境的增强,目前被越来越多的应用于教育领域。以移动端为核心的移动增强现实技术（Mobile augmented reality,MAR）除了具有增强现实虚实融合、... 详细信息

增强现实（Augmented Reality,AR）技术是将虚拟环境与真实环境进行匹配合成,以达到对真实环境的增强,目前被越来越多的应用于教育领域。以移动端为核心的移动增强现实技术（Mobile augmented reality,MAR）除了具有增强现实虚实融合、实时交互、三维注册等技术特性外,其特有的便携性也对扩展教学应用场景、实现教育多元化、促进教育均衡发展有着积极意义。移动增强现实技术可结合相关学习理论、技术以及不同的学习场景开发出更具创新性的教学产品。本文通过比较增强现实在国内外教育行业的应用现状确定主要研究内容。目前大部分移动增强现实应用主要面向基础教育,其关键技术（三维注册）主要分为两类,其中基于人工标识的方法存在易注册失败、应用受限等问题,而基于自然特征的方法则较好的克服了这些缺陷。综合上述分析,本文对以下内容进行了研究:（1）设计移动增强现实交互学习系统的基本框架,分析系统实现流程,研究实现系统的技术理论,如三维注册、虚实融合等关键技术;从功能和性能这两个方面对系统进行需求分析;依据上述研究与分析确定系统总体技术路线并对系统整体框架做进一步划分,设计系统功能模块。（2）针对基于自然特征的三维注册识别部分精度易受复杂纹理影响且未能很好的满足目前出现的以文字为目标的应用需求,提出了一种基于文字特征的识别注册方法。该方法主要在处理模板图像时通过对固定系数降采样与二幂次采样的结合来构建多尺度金字塔,实现尺度不变性;为了更好的获取文本图像文字特征点,用改进的快速视网膜特征算法（Fast retina keypoint,FREAK）对模板图像和视频帧图像的特征点进行提取和筛选,汉明距离进行匹配;最后根据特征点对信息计算摄像机位姿完成注册。实验结果表明,改进的FREAK算法能较准确地提取文字笔划角点,减弱纹理特征对精度的影响;在目标图像出现尺度角度变换和被遮挡情况时该方法仍可以完成识别注册,更适用于以文本图像为目标的移动增强现实交互学习系统。（3）实现了可使用于智能移动端的增强现实交互学习系统。系统主要面向高校教育,完成的交互学习、全景漫游、视频讲解等功能模块为用户构建了实时的三维交互环境,解决了传统教学中正式学习环境与非正式学习环境彼此分离的问题,拓展了学习内容。

关键词：移动增强现实交互学习系统文字特征识别注册增强虚拟环境

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

路口多相机多维立体监控系统研究

路口多相机多维立体监控系统研究

作者：谢宇光西安电子科技大学

学位级别：硕士

随着智慧城市的建设和雪亮工程的推进,多相机视频监控系统被广泛应用在道路交通管理、公共安全保障、基础设施建设、应急事件指挥等领域中。特别地,对于部署在路口的多相机系统,在其成像传感器数量不断增加的同时,监控拓扑结构也呈现多... 详细信息

随着智慧城市的建设和雪亮工程的推进,多相机视频监控系统被广泛应用在道路交通管理、公共安全保障、基础设施建设、应急事件指挥等领域中。特别地,对于部署在路口的多相机系统,在其成像传感器数量不断增加的同时,监控拓扑结构也呈现多样化发展。为了充分利用这些相机采集的海量分散视觉信息,研究多维立体的视频监控方法,打破相机间的信息孤岛,实现互联互通逐渐成为未来相关领域的发展趋势之一。本文研究的多相机多维立体监控方法在相机空间标定、虚拟现实、跨相机分析等方面具有重要的理论研究意义和应用价值。本文详细介绍了多相机视频监控系统中相关技术的研究现状,深入分析了多相机视觉数据之间的联系,重点研究了多路监控数据整合、多相机空间标定、视频虚实融合和渲染这三个关键问题,实现了基于时空特征图的高点辅助多相机空间对齐方法、基于SFM的多相机位姿标定方法和多路视频虚实融合与渲染,并构建了一套路口多相机多维立体监控系统。论文的主要研究工作如下:（1）本文搭建了一套路口多相机多维立体监控系统。该系统主要包括三个模块:一是多相机监控数据采集及编码,用于整合多路分散的视频流数据并将其推送到服务器端;二是路口多维立体场景构建,用于结合监控场景虚拟模型与三维地理信息平台;三是多路实时视频与场景模型虚实融合,用于将服务器端拉取的监控视频流融合到多维立体场景中,最终实现了路口多相机多维立体监控。（2）本文提出了一种基于时空特征图的高点辅助多相机空间对齐方法,用于估计多相机视频监控系统中相机的空间位置关系。该方法依托高点监控相机的全局感知能力,通过挖掘跨视角运动信息一致性,实现相机空间对齐。所提算法主要包括两部分:时空特征图构建和跨视角时空匹配。根据算法得到的像素点对应关系,将所有地面监控相机对齐到统一的成像空间。仿真场景和真实环境下的实验评估验证了算法有效性。（3）本文研究了一种基于SFM的多相机位姿标定方法,用于优化多相机视频监控系统中传感器间的相对位姿。该算法以现有SFM方法为基础,深入融合深度学习的特征提取及匹配方法,通过对监控场景进行三维点云重建,建立不同相机之间的空间联系。同时,该方法根据视频帧间的位姿一致性,利用稳定场景特征互补和干扰运动特征过滤的策略,提出了基于视频序列的多相机位姿估计优化方法。通过大量的实验评估,算法可以有效地提升多相机位姿估计的准确性。（4）本文研究了多视频与立体场景的虚实融合,用于将监控视频投放到虚拟三维场景,实现多维立体视频监控效果。该部分的研究主要包括相机可视域分析和视频纹理映射。首先,本文通过改进Shadow Map算法,分析了视频可视域。在此基础上,将图像纹理扩展为视频流数据,对虚拟模型进行实时视频流的纹理映射,最终实现多路视频与场景三维模型的虚实融合。

关键词：立体监控系统增强虚拟环境时空特征图多相机位姿标定视频融合

基于多节点协同的视频—场景融合表达方法研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于多节点协同的视频—场景融合表达方法研究

作者：傅键斌南京师范大学

学位级别：硕士

视频-场景融合表达通过将二维视频嵌入三维地理场景中,建立了视频与视频、视频与场景之间的时空关联,是支撑智慧城市的重要技术。面对三维场景数据与视频数据激增、廉价低质客户端普遍存在以及多用户并发所带来的挑战,采用服务端生成融... 详细信息

视频-场景融合表达通过将二维视频嵌入三维地理场景中,建立了视频与视频、视频与场景之间的时空关联,是支撑智慧城市的重要技术。面对三维场景数据与视频数据激增、廉价低质客户端普遍存在以及多用户并发所带来的挑战,采用服务端生成融合模板,客户端基于融合模板直接快速绘制的方法,是网络环境下视频-场景融合表达行之有效的手段。基于融合模板的视频-场景融合方法,主要瓶颈在服务端,采用多节点并行策略能有效解决服务端的性能瓶颈问题。论文基于Sort-Last并行渲染体系思想,提出了基于多节点协同的视频-场景融合表达方法,主要研究内容与成果如下:（1）提出了视频-场景融合表达的多节点数据划分方法。通过分析讨论视频-场景融合应用场景中的多节点数据划分原则,设计并定义了整体流程与数据组织结构。结合视频覆盖域分析,提出了基于多种子点区域生长的数据精细划分算法,能够兼顾场景数据分布情况和节点数据承载上限,同时尽量避免视频覆盖连通区域被划分至多个节点。（2）研究了视频-场景融合表达的多节点协同绘制方法。分析了融合任务调度过程中可能出现的不同情况,针对视频融合覆盖区域可能跨越多个节点的情况,对融合模板计算与并行渲染图像合成进行流程合并,保证多节点协同融合绘制结果的正确性。提出了基于Top-K Skyline查询算法的结果合成节点优化选择方法,提升了多节点协同绘制方法的整体性能。（3）设计了视频-场景融合表达的缓存组织方法。结合用户访问特征与融合结果的多维空间属性,构建了融合缓存价值变化模型,设计了顾及多特征的融合缓存替换算法,缓存访问命中率优于空间数据常用的LRU、LFU与BEAST算法,有助于消除并发瓶颈。在上述研究基础上,实现了多节点协同的视频-场景融合表达原型系统,并以视点切换性能、并发处理能力、视频融合帧率等为评价指标进行评估验证。实验证明了本文方法在大场景-多视频-多用户环境下能够提供稳定高效的融合服务,且具有良好的并发处理能力与可扩展性。

关键词：视频-场景融合表达多节点协同增强虚拟环境融合模板