检索结果-南通市图书馆

分层特征编解码驱动的视觉引导立体声生成方法

在线全文

学校读者我要写书评

暂无评论

软件学报 2024年第5期35卷 2165-2175页

作者：王睿琦程皓楠叶龙媒介音视频教育部重点实验室(中国传媒大学) 北京100024 媒体融合与传播国家重点实验室(中国传媒大学) 北京100024

视觉引导的立体声生成是多模态学习中具有广泛应用价值的重要任务之一,其目标是在给定视觉模态信息及单声道音频模态信息的情况下,生成符合视听一致性的立体声音频.针对现有视觉引导的立体声生成方法因编码阶段视听信息利用率不足、解... 详细信息

视觉引导的立体声生成是多模态学习中具有广泛应用价值的重要任务之一,其目标是在给定视觉模态信息及单声道音频模态信息的情况下,生成符合视听一致性的立体声音频.针对现有视觉引导的立体声生成方法因编码阶段视听信息利用率不足、解码阶段忽视浅层特征导致的立体声生成效果不理想的问题,提出一种基于分层特征编解码的视觉引导的立体声生成方法,有效提升立体声生成的质量.其中,为了有效地缩小阻碍视听觉模态数据间关联融合的异构鸿沟,提出一种视听觉特征分层编码融合的编码器结构,提高视听模态数据在编码阶段的综合利用效率;为了实现解码过程中浅层结构特征信息的有效利用,构建一种由深到浅不同深度特征层间跳跃连接的解码器结构,实现了对视听觉模态信息的浅层细节特征与深度特征的充分利用.得益于对视听觉信息的高效利用以及对深层浅层结构特征的分层结合,所提方法可有效处理复杂视觉场景中的立体声合成,相较于现有方法,所提方法生成效果在真实感等方面性能提升超过6%.

关键词：立体声视觉引导的声音生成分层特征编解码多模态学习跳跃连接

多元视觉-语义联合嵌入的人-物交互检测网络

在线全文

学校读者我要写书评

暂无评论

计算机辅助设计与图形学学报 2024年

作者：吕学强王晓英韩晶陈玉忠北京信息科技大学网络文化与数字传播北京市重点实验室青海师范大学藏语智能信息处理及应用国家重点实验室

人-物交互检测对理解以人为中心的场景任务十分重要，但其存在因动词的一词多义带来的视觉偏差问题以及图像的层次信息和语义关系难以合理利用的挑战. 为此，提出多元视觉特征和语言先验联合嵌入的网络，设计了视觉-语义双分支结构.... 详细信息

人-物交互检测对理解以人为中心的场景任务十分重要，但其存在因动词的一词多义带来的视觉偏差问题以及图像的层次信息和语义关系难以合理利用的挑战. 为此，提出多元视觉特征和语言先验联合嵌入的网络，设计了视觉-语义双分支结构. 在视觉分支上，将人-物对中人、对象和交互的多元层次关系在层次视觉融合模块中进行丰富的上下文交换，增加用于关系推理的细粒度的上下文信息; 在语义分支上，将交互三元组标签中的名词、交互动词和三元组短语联合编码成一个语义汇聚一致性图注意网络，进行信息传递和多义感知; 最后通过视觉-语义联合嵌入模块计算视觉和语义之间的拟合程度，得到交互三元组的检测结果. 实验结果表明，在V-COCO数据集上，代理平均精度达到70.7%，角色平均精度达到72.4%; 在HICO-DET数据集上，默认场景下，完整类、罕见类和非罕见类的平均精度分别达到35.91%， 33.65%和36.28%; 所提网络优于对比的网络，在少样本和零样本情况下同样表现出色.

关键词：人-物交互语言先验层次视觉图注意力机制

FGITA:一种基于细粒度对齐的多模态命名实体识别框架

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

小型微型计算机系统 2024年

作者：吕学强王涛游新冬赵海兴才藏太陈玉忠北京信息科技大学网络文化与数字传播北京市重点实验室青海师范大学藏语智能信息处理及应用国家重点实验室

命名实体识别任务旨在识别出非结构化文本中所包含的实体并将其分配给预定义的实体类别中。随着互联网和社交媒体的发展，文本信息往往伴随着图像等视觉模态信息出现，传统的命名实体识别方法在多模态信息中表现不佳。近年来，多模态命... 详细信息

命名实体识别任务旨在识别出非结构化文本中所包含的实体并将其分配给预定义的实体类别中。随着互联网和社交媒体的发展，文本信息往往伴随着图像等视觉模态信息出现，传统的命名实体识别方法在多模态信息中表现不佳。近年来，多模态命名实体识别任务广受重视。然而，现有的多模态命名实体识别方法中，存在跨模态知识间的细粒度对齐不足问题，文本表征会融合语义不相关的图像信息，进而引入噪声。为了解决这些问题，提出了一种基于细粒度图文对齐的多模态命名实体识别方法(FGITA: A Multi-Modal NER Frame based on Fine-Grained Image-Text Alignment)。首先，该方法通过目标检测、语义相似性判断等，确定更为细粒度的文本实体和图像子对象之间的语义相关性；其次，通过双线性注意力机制，计算出图像子对象与实体的相关性权重，并依据权重将子对象信息融入到实体表征中；最后，提出了一种跨模态对比学习方法，依据图像和实体之间的匹配程度，优化实体和图像在嵌入空间中的距离，借此帮助实体表征学习相关的图像信息。在两个公开数据集上的实验表明，FGITA优于5个主流多模态命名实体识别方法，验证了方法的有效性，同时验证了细粒度跨模态对齐在多模态命名实体识别任务中的重要性和优越性。

关键词：多模态命名实体识别信息抽取知识图谱对比学习

基于双路视觉Transformer的图像风格迁移

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

北京航空航天大学学报 2024年

作者：纪宗杏贝佳刘润泽任桐炜南京大学计算机软件新技术国家重点实验室

图像风格迁移(Image Style Transfer， IST)旨在根据风格图像调整内容图像的视觉属性，使其保留原始内容的同时呈现出特定风格样式，从而生成具有视觉吸引力的风格化图像。现有代表性方法大多未考虑不同图像域间的编码差异，专注提取图... 详细信息

图像风格迁移(Image Style Transfer， IST)旨在根据风格图像调整内容图像的视觉属性，使其保留原始内容的同时呈现出特定风格样式，从而生成具有视觉吸引力的风格化图像。现有代表性方法大多未考虑不同图像域间的编码差异，专注提取图像局部特征而忽视了全局上下文信息的重要性。为此，提出了一种新型的基于双路视觉Transformer的图像风格迁移方法Bi-Trans，对内容图像域和风格图像域进行独立编码，提取风格参数向量以离散化表征图像风格，通过交叉注意力机制与条件实例归一化将内容图像标定至目标域风格，从而生成风格化图像。实验结果表明，本文方法无论是内容保留度还是风格还原度均优于现有方法。

关键词：图像风格迁移视觉Transformer 任意风格化条件实例归一化注意力机制

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

融合轨道动力学的小行星探测器自主视觉定位

哈尔滨工业大学学报 2024年第5期56卷 19-27页

作者：樊铭瑞张世栋李运牛文龙彭晓东高辰杨震中国科学院国家空间科学中心北京100190 中国科学院复杂航天系统电子信息技术重点实验室(中国科学院国家空间科学中心) 北京100190 中国科学院大学北京100049

针对小行星探测器高精度自主视觉定位问题,提出了一种融合轨道动力学的深空探测器自主视觉定位方法,能修正视觉视觉定位与地图构建算法(simultaneous localization and mapping,SLAM)的定位误差。该方法通过融合轨道动力学的轨道改进技... 详细信息

针对小行星探测器高精度自主视觉定位问题,提出了一种融合轨道动力学的深空探测器自主视觉定位方法,能修正视觉视觉定位与地图构建算法(simultaneous localization and mapping,SLAM)的定位误差。该方法通过融合轨道动力学的轨道改进技术,能够在缺乏表面先验信息、无人工手动标记的场景下,实现探测器的高精度视觉导航,并建立小行星表面稠密三维模型。首先,基于视觉同时定位和建图方法(VSLAM)提取小行星表面特征,通过因子图优化算法估计探测器位姿,设计回环检测提高定位精度;其次,重构行星表面三维模型,实现基于多面体法的行星不规则引力场建模;最后,提出了一种基于轨道动力学的伪相对运动轨道优化算法,将其作为物理约束修正视觉定位累积误差,分析反演视觉初始定轨误差在轨道动力学中的传播过程,实现修正视觉定位累积误差,改善初始定位结果。仿真实验结果表明,融合轨道动力学可以有效提升小行星探测视觉定位的精度,从而实现高精度导航,为深空探测技术的未来发展提供参考借鉴。

关键词：深空探测自主导航轨道动力学视觉SLAM 状态估计

不同抗真菌药物治疗真菌性角膜炎有效性和安全性的网状meta分析

同方期刊数据库博看期刊评论

在线全文

学校读者我要写书评

暂无评论

中华实验眼科杂志 2024年第7期42卷 629-637页

作者：庞金鼎韦振宇曹凯徐西占梁庆丰首都医科大学附属北京同仁医院北京同仁眼科中心北京市眼科研究所北京眼科学与视觉科学重点实验室北京100730

目的系统评价不同抗真菌药物治疗真菌性角膜炎(FK)的有效性及安全性。方法采用网状meta分析方法,检索PubMed、Cochrane Library、Embase、Web of Science共4个数据库,检索时限为建库至2023年3月16日。由2名研究者遵循纳入和排除标准筛... 详细信息

目的系统评价不同抗真菌药物治疗真菌性角膜炎(FK)的有效性及安全性。方法采用网状meta分析方法,检索PubMed、Cochrane Library、Embase、Web of Science共4个数据库,检索时限为建库至2023年3月16日。由2名研究者遵循纳入和排除标准筛选随机对照试验(RCT)研究文献,完成质量评估和信息提取。采用Review Manager 5.4偏移风险评估工具进行文献质量评估,采用Stata 14.0软件对不同抗真菌药物治疗FK的治愈率、治愈时间、治疗前后视力变化及安全性进行网状meta分析。结果最终纳入14项RCT研究,共1681例患者。网状meta分析显示,在治愈率方面,0.2%洗必泰滴眼液、5%那他霉素+伏立康唑(口服)较其他药物显示出更好的疗效,累计排序曲线下面积(SUCRA)为86.1%和63.3%,且1%伏立康唑滴眼液治愈率低于0.2%洗必泰滴眼液、5%那他霉素滴眼液+伏立康唑(口服)、0.05%洗必泰滴眼液、0.1%洗必泰滴眼液、5%那他霉素滴眼液+酮康唑(口服)、5%那他霉素滴眼液,差异均有统计学意义(均P<0.05);1%伏立康唑滴眼液、5%那他霉素+伏立康唑(口服)在治愈时间方面表现最好(SUCRA=66.9%、55.7%);5%那他霉素滴眼液、1%伏立康唑滴眼液和伏立康唑口服三联治疗在改善视力和安全性方面优于其他药物(SUCRA分别为74.8%、79.7%)。在安全性方面,5%那他霉素滴眼液优于1%伏立康唑滴眼液和0.2%洗必泰滴眼液,差异均有统计学意义(均P<0.05)。此外,此次分析可能存在潜在的发表偏倚。结论0.2%洗必泰滴眼液、1%伏立康唑滴眼液在FK治疗中具有较好的疗效,5%那他霉素滴眼液、1%伏立康唑滴眼液和伏立康唑口服三联治疗对FK患者具有较好的视力改善率及安全性。

关键词：真菌性角膜炎药物治疗网状meta分析

维普期刊数据库博看期刊

利用光学遥感影像光流场模型进行地表形变分析

在线全文

学校读者我要写书评

暂无评论

武汉大学学报（信息科学版） 2024年第8期49卷 1314-1329页

作者：丁明涛陈浩杰李振洪刘振江长安大学地质工程与测绘学院陕西西安710054 黄土科学全国重点实验室陕西西安710054 长安大学地学与卫星大数据研究中心陕西西安710054 自然资源部生态地质与灾害防控重点实验室陕西西安710054 智慧地球重点实验室北京100029

光学遥感影像像素偏移量追踪是反演同震形变场和监测滑坡的一种重要手段。基于相关性匹配的传统像素偏移量追踪方法,通过搜索相关性最强的匹配窗口估计中心像素的位移,计算效率低且在大梯度形变区域失相关现象严重,存在形变边界提取不... 详细信息

光学遥感影像像素偏移量追踪是反演同震形变场和监测滑坡的一种重要手段。基于相关性匹配的传统像素偏移量追踪方法,通过搜索相关性最强的匹配窗口估计中心像素的位移,计算效率低且在大梯度形变区域失相关现象严重,存在形变边界提取不精确的问题。为高效获取精确的地表形变,将计算机视觉领域的光流场模型引入像素偏移量追踪问题,提出适用于光学遥感影像反演地表形变的光流场方法,给出像素偏移量时序反演的加权改进算法。通过塔吉克斯坦同震形变场模拟实验,评估光流场方法估计地表形变场的可行性及其在最小可探测形变方面的性能;通过加州地震同震形变场反演和白格滑坡偏移量估计实验,讨论光流场方法的计算效率优势和形变区域提取的精确性;通过白格滑坡时序形变分析,进一步论述利用光流场方法估计大梯度形变的有效性和时序反演加权改进算法的鲁棒性。结果显示,相比于传统窗口相关性匹配方法,光流场方法的偏移量追踪精度为0.032像素,计算效率提升了20倍左右,形变区范围提取精度提升了25.9%;改进的加权时序反演算法将光学遥感影像东西向和南北向位移估计的不确定性分别降低了16.2%和12.4%。

关键词：光流场方法滑坡同震形变计算效率加权时序反演算法

彩色多普勒血流成像在眼部疾病诊断应用的专家共识(2024)

在线全文

学校读者我要写书评

暂无评论

中华实验眼科杂志 2024年第9期42卷 785-797页

作者：彩色多普勒血流成像在眼部疾病诊断应用的专家共识(2024)专家组中国医师协会眼科医师分会眼超声诊断专业委员会杨文利不详首都医科大学附属北京同仁医院、北京同仁眼科中心、北京市眼科学与视觉科学重点实验室北京100730

脉冲多普勒可以定量测量动脉血管相关的血流参数,以了解眼部血管的血流动力学基本情况。彩色多普勒血流成像(CDFI)不仅可以清晰地显示眼动脉、视网膜中央动脉、睫状后短动脉及视网膜中央静脉等血管的走行、分布,还可以探查球内、眶内病... 详细信息

脉冲多普勒可以定量测量动脉血管相关的血流参数,以了解眼部血管的血流动力学基本情况。彩色多普勒血流成像(CDFI)不仅可以清晰地显示眼动脉、视网膜中央动脉、睫状后短动脉及视网膜中央静脉等血管的走行、分布,还可以探查球内、眶内病变内的血流情况,根据其血流特征为疾病的诊断和鉴别诊断提供更丰富的信息。CDFI在眼部的应用历史已经超过35年,但国内不同地区、不同医院、不同专业之间CDFI检查的适应证、检查方法和注意事项、图像存储依据、检查报告书写规范等尚未形成统一的标准,为疾病的诊断带来困难。本共识对CDFI检查适应证的相关性和特异性给出相应的推荐,建立CDFI检查的标准化流程及操作规范,旨在更好地发挥CDFI在眼部疾病诊断中的优势,规范并提升CDFI诊断的整体水平,为更广泛地推广眼部CDFI的应用提供帮助。

关键词：超声彩色多普勒血流成像眼

神经胶质细胞反应性活化与青光眼疾病关系的研究进展

在线全文

学校读者我要写书评

暂无评论

中华实验眼科杂志 2024年第9期42卷 862-865页

作者：白玮玲王宁利刘含若首都医科大学附属北京同仁医院、北京同仁眼科中心、北京市眼科研究所、眼科学与视觉科学北京市重点实验室北京100730

哺乳动物视网膜内的神经胶质细胞包括大胶质细胞和小胶质细胞,其对青光眼疾病的作用涉及形态变化、动态迁移以及活性因子分泌等,且这种作用具有两面性。视网膜中的神经胶质细胞反应性活化在青光眼病情进展中参与对分子水平的调控,也对... 详细信息

哺乳动物视网膜内的神经胶质细胞包括大胶质细胞和小胶质细胞,其对青光眼疾病的作用涉及形态变化、动态迁移以及活性因子分泌等,且这种作用具有两面性。视网膜中的神经胶质细胞反应性活化在青光眼病情进展中参与对分子水平的调控,也对细胞外基质及结构力学造成影响。利用生物信息学整合分析已发现星形胶质细胞对于青光眼伴高眼压产生影响的3种核心基因模块。基因突变导致的神经胶质细胞异常可对视网膜青光眼样病变的发生和发展造成影响。在影像学方面,新技术的出现为体内观察胶质细胞反应性活化状态提供了新的研究方向。本文就神经胶质细胞反应性活化在青光眼疾病中的作用进行综述,以期为青光眼的发病机制和研究方向提供新思路。

关键词：神经胶质细胞星形胶质细胞 Müller细胞小胶质细胞青光眼