检索结果-南通市图书馆

多人交互式CT肝脏AR影像电子病历系统的研究与实现

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

多人交互式CT肝脏AR影像电子病历系统的研究与实现

作者：翁明辉厦门大学

学位级别：硕士

随着信息化与网络化技术的迅速发展,电子病历以其大容量、易管理与可追溯等诸多优点开始普及,但医患之间的沟通、医学教学的质量、医生会诊的效率以及医疗实施的精准度等依然是目前关注的热点问题。本文针对目前的电子病历系统进行了研... 详细信息

随着信息化与网络化技术的迅速发展,电子病历以其大容量、易管理与可追溯等诸多优点开始普及,但医患之间的沟通、医学教学的质量、医生会诊的效率以及医疗实施的精准度等依然是目前关注的热点问题。本文针对目前的电子病历系统进行了研究,设计了多人交互式CT（Computed Tomography）肝脏AR（Augmented Reality）影像电子病历系统,实现了准确的CT肝脏分割、生动的AR展示以及便捷的多人交互,在精准医疗、医学科普、医学教学、多人会诊、远程医疗以及模拟手术等方面具有重要的实际应用价值,对我国的医疗信息化进程、高效分配医疗资源以及缓解与改善医患矛盾方面起推动作用。本文提出了多人交互式CT肝脏AR影像电子病历系统的架构,主要包括了CT影像采集、AR展示及交互三个子系统。在CT影像采集子系统中,主要基于图像边缘检测方法的基础上,提出了基于单块线性检测的CT肝脏自动分割算法,经过测试分析,该算法能有效且准确地分割出CT图像的弱边缘区域,准确率达到95%以上。在CT肝脏分割的基础上,结合面绘制与体绘制方法实现了CT肝脏数据的三维重建,结合***服务器与MySQL数据库实现数据的存储,并完成了在Android、iOS与Web平台上的AR数据展示。在AR展示子系统的基础上,提出了基于移动设备的AR多人交互子系统的架构,通过移动端触屏操作、基于蓝牙通信的遥控手柄以及数据手套操作,设计实现了人机交互,进一步结合云服务器与边缘服务器,设计实现了多人交互。最后通过设计系统测试平台及环境,对AR展示子系统、AR交互子系统以及整体电子病历系统进行了功能测试,达到了较好的多人交互体验效果。今后进一步研究工作可不断地完善该电子病历系统,针对病人建立AR电子病历,根据不同的病因,建立相关病理数据的采集及分析子系统,以及展示及交互子系统,进一步推动医疗的信息化,并提高医疗的精准度。

关键词： CT肝脏分割 AR展示多人交互电子病历系统

面向智能客服的多人交互式WebAR系统的设计与实现

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

面向智能客服的多人交互式WebAR系统的设计与实现

作者：顾慧慧北京邮电大学

学位级别：硕士

工业领域的售前售后服务中,由于客服与客户缺乏对设备的同步感知,导致沟通过程费时费力。随着5G的到来,很多工业厂家开始利用AR技术进行远程沟通与协助。但是工业级的交互式AR技术往往需要穿戴式设备作为载体,造价高昂、不易携带。而基... 详细信息

工业领域的售前售后服务中,由于客服与客户缺乏对设备的同步感知,导致沟通过程费时费力。随着5G的到来,很多工业厂家开始利用AR技术进行远程沟通与协助。但是工业级的交互式AR技术往往需要穿戴式设备作为载体,造价高昂、不易携带。而基于移动终端应用程序的AR应用又面临着多系统开发难度大、用户体验门槛高的问题,难以大面积推广。相较之下,基于Web的AR技术具有跨平台、轻量级、易传播的特性,能更好的推广和发展AR技术。但现阶段的WebAR体验都是单人版的,缺少多人交互式的解决方案。本文首次提出并设计实现一套面向智能客服应用场景的多人交互式WebAR系统,主要创新内容有两个方面:(1)针对目前穿戴式AR技术和基于专用APP AR应用存在的普适性差、成本贵的问题,本文首次提出一种基于Web技术的轻量级跨平台、能够支持3-5位用户实时交互的WebAR服务方案。该方案在支持用户之间音视频、即时消息等融媒体交流和互动的同时,同一 AR场景中的用户也能共享3D虚拟物体,任一用户与模型的交互操作会实时同步反馈到其他用户的页面中。(2)现有ARKit和ARCore的多人交互式CloudAR技术中的通信方式以服务器转发传输为主,由于涉及到多媒体数据的传输和交互控制信息的实时分发,导致服务器端的处理压力大,进而产生高移动能耗及高传输时延。为此,本文在多人交互的WebAR系统中采用一种基于P2P的多用户通信模式,系统会在通信各方之间建立P2P连接,并基于此提出一种路径寻优算法。算法会根据每条链路的移动能耗和传输时延综合评估,寻找当前系统性能最佳的通信链路节点图,实现高效的信息分发和传输。基于上述两个方面的创新研究内容,本文设计并实现了面向智能客服的多人交互式WebAR原型系统,并对系统的功能和性能进行了测试。测试结果表明多人交互式WebAR系统在功能上能够满足工业领域的基本客服需求;在保证客服通信中的即时性和稳定性的前提下,性能上一次会话能够支持3-5个客户端之间的实时数据通信。

关键词： WebAR Peer-to-Peer 智能客服多人交互路径寻优

对遮挡和多人交互鲁棒的基于图卷积网络骨骼动作识别方法

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

对遮挡和多人交互鲁棒的基于图卷积网络骨骼动作识别方法

作者：李丹深圳大学

学位级别：硕士

在许多工业场景中,识别人的行为可以为探测危险情况、识别非法操作、分析工作效率等提供有效的信息。目前人体动作识别主要分为基于RGB视频的方法和基于人体骨骼的方法。与基于RGB视频的方法相比,基于骨骼数据的人体动作识别方法对环境... 详细信息

在许多工业场景中,识别人的行为可以为探测危险情况、识别非法操作、分析工作效率等提供有效的信息。目前人体动作识别主要分为基于RGB视频的方法和基于人体骨骼的方法。与基于RGB视频的方法相比,基于骨骼数据的人体动作识别方法对环境等因素具有鲁棒性。另外,人体骨骼数据是非结构化的,不适用传统的卷积神经网络来进行处理,图卷积的出现为处理骨骼这种非结构化的数据提供了新的解决思路。然而已有的人体动作识别方法很少考虑现实场景中的遮挡问题和多人交互问题,使得已有方法对人体受到遮挡和多人交互情况下的动作识别不够鲁棒。为了解决这些问题,本文提出对遮挡和多人交互鲁棒的基于图卷积网络的骨骼动作识别方法:(1)为了提高对遮挡骨架数据的识别精度,提出了一种遮挡感知的多流融合图卷积网络(Multi-Stream Fusion Graph Convolutional Network,MSFGCN)。提出的多流融合网络由多个流组成,不同的流处理不同的遮挡情况,并且同时提取节点坐标、相对坐标、小尺度帧差和大尺度帧差,构建更具判别性的多模态特征。特别是,我们首次提出了在不同尺度上同时提取帧差特征,能够更有效地区分不同运动幅度的动作。论文还提出了有效的训练策略以提高模型性能。另外,我们还探索了内容自适应权重对识别准确率的影响。实验结果表明,所提出的MSFGCN在遮挡左臂、右臂、双手、双腿和躯干的情况下识别准确率均有较大的提升,能够更好地处理遮挡情况下的动作识别任务,其中在遮挡右臂的情况下在CS和CSET基准上的识别准确率分别提升了11.5%和11.9%。(2)对于多人交互动作,现有方法独立地提取每个人的动作特征,然后再将独立的多人特征进行池化融合,这样不能有效获取多人之间的协同特征,还会导致信息的丢失。与之相比,我们构建多人协同自适应拓扑图来有效建立多人协同动作中不同人物之间的联系,使得网络能够获取多个人物之间的交互信息,从而提升多人交互动作识别的鲁棒性,同时也为处理多人动作识别提供了新的思路。实验结果表明我们的方法在NTURGB+D数据集上获得了较好的性能,与基线方法相比,在CS和CV基准上的识别准确率分别提升了4.5%和5.5%。

关键词：骨骼动作识别图卷积网络多流融合网络多模态特征多人交互

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于Web的虚拟现实多人交互研究与实现

基于Web的虚拟现实多人交互研究与实现

作者：李海滨西南交通大学

学位级别：硕士

随着互联网的迅速发展,Web虚拟现实技术解除了以前网络带宽所带来的限制,特别是电子商务系统等的应用,让Web3D这几年也迅速的在全世界流行起来。但同时在当今的网络虚拟现实中,对于在虚拟环境中交互要求越来越多,人机交互、异地协同交... 详细信息

随着互联网的迅速发展,Web虚拟现实技术解除了以前网络带宽所带来的限制,特别是电子商务系统等的应用,让Web3D这几年也迅速的在全世界流行起来。但同时在当今的网络虚拟现实中,对于在虚拟环境中交互要求越来越多,人机交互、异地协同交互等已经满足不了用户的需求了。本文是基于研发项目“网上购房超市软件平台”的研究,着重对交互式房地产展示系统模块进行研究,构建一个虚拟社区式交互场景,通过对Flash多人在线交互原理和方法的研究分析,借鉴其交互模式实现了灵活实用的楼盘小区漫游场景交互。本文的主要内容如下：(1)分析了研发项目“网上购房超市软件平台”的总体需求,包括系统功能需求分析和整体软件平台设计目标。对软件平台系统的核心功能模块“交互式房地产展示系统”进行了深入研究,为了实现此模块功能,根据其需求,本文借鉴Flash多人在线交互实现方式"Socket服务器+Flash"模式,研究设计了"Socket服务器+Web3D软件”模式来实现其功能。通过对几款常用Web3D软件和几款常用Socket服务器的研究分析,比较其各自的功能特点以及与研发项目实际需求相结合,确定选择Unity作为本文研究开发Web3D软件,确定SmartFoxServer作为本文研究开发Socket服务器。(2)结合项目实际需求和虚拟现实交互总体架构设计方案,通过对SmartFoxServer服务器和Unity的研究分析,本文给出了“交互式房地产展示系统”的应用模式设计方案,即" SmartFoxServer+Unity "模式的总体架构方案设计。在架构设计方案中SmartFoxServer服务器端,主要设计了3个用于交互的模块来完成基本交互功能。使用SmartFoxClient对象与服务器建立连接的连接模块;登入模块主要实现用户建立连接之后,进入到交互场景大厅,选择小区漫游场景登入过程;漫游场景交互最重要的是交互事件处理模块,它用来实现交互事件数据的发送和接收。然后给出SmartFoxServer服务器与数据库的连接方法设计。在客户端Unity的设计中,主要包括交互场景的设计、模型物体坐标同步设计和多模型加入网络处理设计。(3)实现“网上购房超市软件平台”中的一个小区漫游场景的虚拟现实交互,首先导入小区3DMax模型到Unity中实现场景漫游;然后是实现了虚拟楼盘小区漫游场景交互,其中包括启用TCP和UDP、创建交互场景和交互事件的处理;完成SmartFoxServer服务器端的配置之后,启动Unity登入虚拟楼盘小区漫游场景,实现场景交互。本文采用的多人交互实现方式,具有应用开发相对简单、跨平台性、可扩展性好和开发成本低等特点,在理论和商业应用上都有一定的价值。

关键词：虚拟现实多人交互 SmartFoxServer Unity 小区漫游场景

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

WebVR多人交互系统研究与应用设计

设计艺术研究 2022年第1期12卷 87-90,104页

作者：叶师舒余日季湖北大学艺术学院湖北武汉430062

计算机现代技术以及网络建设的快速发展,使得WebVR技术应运而生。结合基于Web的虚拟现实技术与多人交互的基础理论知识,构建一种基于WebVR技术的文化数字化植入的理论框架,提出基于Web的虚拟现实技术开发流程,并结合AltspaceVR平台进行... 详细信息

计算机现代技术以及网络建设的快速发展,使得WebVR技术应运而生。结合基于Web的虚拟现实技术与多人交互的基础理论知识,构建一种基于WebVR技术的文化数字化植入的理论框架,提出基于Web的虚拟现实技术开发流程,并结合AltspaceVR平台进行了系统应用实例的设计与实现,旨在探索WebVR多人交互开发的理论方法和实践操作思路。

关键词： WebVR 多人交互海洋保护数字文化

面向社交网络的虚拟现实多人交互技术的挑战与发展趋势探讨

维普期刊数据库博看期刊

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

面向社交网络的虚拟现实多人交互技术的挑战与发展趋势探讨

第二届电力工程与技术学术交流会

作者：陆欢邹努江西泰豪动漫职业学院

本论文探讨了面向社交网络的虚拟现实多人交互技术的挑战与发展趋势。首先,介绍了社交网络和虚拟现实技术的背景与特点。其次,分析了社交网络中的多人交互需求以及虚拟现实技术与多人交互的关系。然后,讨论了面向社交网络的虚拟现实多... 详细信息

本论文探讨了面向社交网络的虚拟现实多人交互技术的挑战与发展趋势。首先,介绍了社交网络和虚拟现实技术的背景与特点。其次,分析了社交网络中的多人交互需求以及虚拟现实技术与多人交互的关系。然后,讨论了面向社交网络的虚拟现实多人交互技术所面临的技术挑战和用户体验挑战。接着,探讨了技术发展趋势和用户体验发展趋势,展望了该技术的应用前景。最后,通过案例分析介绍了几个虚拟现实社交网络平台,并总结了论文的主要内容。

关键词：社交网络虚拟现实多人交互技术挑战用户体验发展趋势

来源： cnki会议评论

在线全文

cnki会议

学校读者我要写书评

暂无评论

多人紧密交互下的三维姿态与形状估计

多人紧密交互下的三维姿态与形状估计

作者：焦年红天津大学

学位级别：硕士

无标记的人体运动捕捉是计算机视觉和计算机图形学中一个受欢迎且具有挑战性的话题。其主要任务是通过跟踪视频中移动物体的运动来恢复动态3D形状的时间连贯表示。近十年以来无标记的单人运动捕捉有了极大的发展,然而现有的方法需要小... 详细信息

无标记的人体运动捕捉是计算机视觉和计算机图形学中一个受欢迎且具有挑战性的话题。其主要任务是通过跟踪视频中移动物体的运动来恢复动态3D形状的时间连贯表示。近十年以来无标记的单人运动捕捉有了极大的发展,然而现有的方法需要小心的调整相机以及操作控制台,并且极大程度上依赖分割技术。在多人的情况下,由于多人分割和姿态估计的困难,直接将现有的单人运动捕捉技术应用于多人情形是无法产生令人满意的结果。尽管某些方法可以处理多人情形,但捕获的场景十分受限,同时仅限于非常简单的交互,而不会有相互遮挡,例如面对面打篮球。但是,现实活中多人之间的交互通常非常紧密,例如,拥抱、双人舞蹈或者拳击等等,这在游戏和电影场景中也是十分常见的。因此,重建紧密互动的人的形状和姿态对于现有的实际应用是十分重要的。据我们所知,现有的方法都无法完全自动地同时估计紧密交互下多人人体的3D形状和姿态。更重要的是,由于存在巨大的歧义性,无法将常用的特征（例如颜色,边缘或关键点）分别分配给每个人。当人们密切互动时,由于遮挡,截断和固有的歧义性,问题变得更加复杂且更具挑战性。在本文中,我们提出了一种新的无标记的人体运动捕捉方法,自动的从多人紧密交互的多视角视屏中实现人体的3D姿态和形状估计,本工作的内容和具体贡献如下:1.多人紧密交互下的全自动人体姿态和形状估计:我们的方法不需要对每个人进行手动干预调整,不需要进行人体模版模型的扫描,并且也不需要对图片中的每个人进行分割操作,极大的减少了操作的复杂度。同时在另一方面,使用是非常灵活的,并且计算复杂度较低（在没有GPU加速的情况下,每个人大约仅仅1分钟）。2.多人空域和时域的姿态跟踪:通过考虑时域以及空域的对应关系,来推断多视角下每个人的2D人体姿态顺序,用于后续的人体3D姿态和形状拟合估计。我们的跟踪策略使用了人体边界框和人体姿态边界框信息,这有助于减少由于仅仅使用单人信息而产生估计结果的奇异性,使得估计值更加准确和有效。3.多视角3D人体姿态和形状估计:先对多视角下的人体进行2D人体关键点检测,接着对其进行空域和时域的联合跟踪,然后基于多视角约束,使用检测和跟踪后的关键点进行人体姿态和形状的拟合。多视角下姿态和形状的估计通过最优化的方式来求解姿态和形状参数,基于多步求解优化,使得优化的结果更加鲁棒和合理,避免了局部最优情形。

关键词：运动捕捉姿态估计多人交互关键点检测

大屏环境下基于Leap Motion的多人手势交互研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

大屏环境下基于Leap Motion的多人手势交互研究

作者：张明威杭州电子科技大学

学位级别：硕士

随着“元宇宙”概念的兴起和虚拟现实技术的发展,人机交互技术在不断地引入新的创新,人与计算机的交互行为是从比较被动、机械依赖式的交互往自然感官交互发展,使用自然的人类感官而不是硬件接口已经成为流行的趋势。其中,手势识别是最... 详细信息

随着“元宇宙”概念的兴起和虚拟现实技术的发展,人机交互技术在不断地引入新的创新,人与计算机的交互行为是从比较被动、机械依赖式的交互往自然感官交互发展,使用自然的人类感官而不是硬件接口已经成为流行的趋势。其中,手势识别是最受欢迎的一种交互方式,因为手势是人类最自然的工具之一,拥有丰富的应用前景。采用光学传感器的计算机视觉方法是最为主流的手势识别研究方向,然而,手势识别研究领域尚存在许多问题,如不可避免的手部自遮挡,在大屏环境下手势识别精度有限,多人手势交互领域存在研究空白等等。本文采用了Leap Motion手部跟踪光学传感器和Nolo cv1 pro空间交互设备,结合自行设计打印的3D模型以及软件编程设计,提出了大屏环境下基于多Leap Motion的多人手势交互方法,基于此方法开发了两款应用,经过实验验证,在上述几个问题方面都取得了一定的优化。本文研究工作的主要创新点如下:(1)提出基于多Leap Motion的手势自遮挡解决方案,对于Leap Motion的跟踪数据,根据手部数据和Leap Motion的空间位置关系计算置信度并更新跟踪数据,其中包括垂直距离置信度、水平距离置信度。本文设计并3D打印了Leap-Nolo装置以实现本文提出的方法,进行实验证明了此方法对手势交互中无法避免的自遮挡问题起到了一定的优化。(2)对基于手势进行多人交互时,可能会遇到的手部数据重复和手部归属混淆的问题,提出了对Leap Motion的手部跟踪数据进行预处理,以确定该手部的用户归属以及去除重复手部数据的方法,经过实验证明了此方法的有效性。(3)提出了大屏环境下进行精确手部数据注册以实现高精度手势识别的方法,阐述了整个方法工作的过程,包括其中涉及到的所有坐标系以及坐标系之间的转换关系。本文对此方法实现的场景部署给出了演示示例。(4)提出了本文设计开发的大屏环境下优化手势识别自遮挡问题的多人交互系统,包括场景部署及系统工作流程。为了更好地体现本文方法的表现效果,本文设计并实现了两个基于本文方法的人机交互应用,包括大屏环境下基于手势交互的双人手部数据集标注协作工具和大屏环境下基于手势的虚拟空间交互系统。(5)定义并设计了一系列手势,以在应用中进行基于手势指令的人机交互。根据Leap Motion跟踪到的手部数据(包括手掌及手指关节的位置、手性、法向量、速率等)设计了一系列手势,包括静态手势和动态手势。本文设计区分度高且易于识别的一系列手势,可以根据需求为手势指定不同的功能指令。(6)设计实验,选取多名用户参与实验并填写问卷,展示了本文方法与传统方法的效果对比,以及基于本文方法实现的应用的用户体验反馈。通过对实验结果的分析与总结,验证了本文提出的大屏环境下基于多Leap Motion的多人手势交互方法的有效性和优越性。

关键词：虚拟现实人机交互手势识别多人交互计算机图形学

基于Leap Motion的虚拟环境多人实时交互方法

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于Leap Motion的虚拟环境多人实时交互方法