检索结果-南通市图书馆

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

基于多重视觉注意力的唇语识别

模式识别与人工智能 2024年第1期37卷 73-84页

作者：谢胤岑薛峰曹明伟合肥工业大学计算机与信息学院合肥230601 合肥工业大学软件学院合肥230601 安徽大学计算机科学与技术学院合肥230601

唇语识别是将单个说话人嘴唇运动的无声视频翻译成文字的一种技术.由于嘴唇运动幅度较小,现有唇语识别方法的特征区分能力和泛化能力都较差.针对该问题,文中分别从时间、空间和通道三个维度研究唇语视觉特征的提纯问题,提出基于多重视... 详细信息

唇语识别是将单个说话人嘴唇运动的无声视频翻译成文字的一种技术.由于嘴唇运动幅度较小,现有唇语识别方法的特征区分能力和泛化能力都较差.针对该问题,文中分别从时间、空间和通道三个维度研究唇语视觉特征的提纯问题,提出基于多重视觉注意力的唇语识别方法(Lipreading Based on Multiple Visual Attention Network,LipMVA).首先利用通道注意力自适应校准通道级别的特征,减轻无意义通道的干扰.然后使用两种粒度不同的时空注意力,抑制不重要的像素或帧的影响.CMLR、GRID数据集上的实验表明LipMVA可降低识别错误率,由此验证方法的有效性.

关键词：唇语识别视觉语音识别注意力机制深度神经网络特征提取

基于节点特征对抗性攻击的图对比学习鲁棒性验证

在线全文

学校读者我要写书评

暂无评论

清华大学学报（自然科学版） 2024年第1期64卷 13-24页

作者：邢宇杰王啸石川黄海崔鹏北京邮电大学计算机学院北京100876 北京航空航天大学软件学院北京102206 清华大学计算机科学与技术系北京100084

最近的许多工作已经表明图神经网络在面对图结构扰动以及节点特征扰动的对抗攻击时表现出非鲁棒性,其预测结果可能是不可靠的,图对比学习方法中也存在这一问题。然而已有的鲁棒性测度方法通常与攻击算法、数据标签以及下游任务相关,这... 详细信息

最近的许多工作已经表明图神经网络在面对图结构扰动以及节点特征扰动的对抗攻击时表现出非鲁棒性,其预测结果可能是不可靠的,图对比学习方法中也存在这一问题。然而已有的鲁棒性测度方法通常与攻击算法、数据标签以及下游任务相关,这些在自监督设置下图对比学习的鲁棒性测度中是应当尽量避免的。该文提出了基于节点特征对抗性攻击的图对比学习鲁棒性验证算法,来验证节点特征扰动下的图卷积网络的鲁棒性。考虑到图对比学习模型中正负例对的特性,将图对比学习鲁棒性验证问题定义为对抗样本与目标节点及其负例之间相似度比较的问题,并将该问题形式化建模为一个动态规划问题,从而解决了对攻击算法、数据标签以及下游任务的依赖问题。为了求解该动态规划问题,针对图数据通常采用的二元特征,设计了相应的扰动空间;考虑到图对比学习中负例样本空间过大的挑战,设计了负例样本采样策略来提升求解问题的效率;由于二元离散特征和非线性激活函数使得动态规划问题难于求解,对它们分别采用放松到连续数据域和非线性激活放松的方式,并采用寻找对偶问题的方式进一步提高求解效率。通过充分的实验说明了所提出的图对比学习鲁棒性验证算法的有效性;同时验证了针对特定攻击算法设计的图对比学习模型的鲁棒性不具有可泛化性,面对其他的攻击算法可能表现得更加脆弱;还通过参数实验说明了设计的负例样本采样策略是合理的。

关键词：图对比学习图卷积网络鲁棒性验证对抗攻击对抗训练

广义Gamma分布弱湍流环境含指向误差串行中继水下无线光通信系统误码性能分析

在线全文

学校读者我要写书评

暂无评论

光子学报 2024年第2期53卷 37-51页

作者：王懿旭李岳衡黄平居美艳河海大学计算机与信息学院南京211100

鉴于目前普遍选用的水下弱湍流模型无法准确拟合实测数据的缺陷,选取经实验测试验证的广义Gamma分布来表征海洋弱湍流,以期合理评估受湍流等因素影响的水下无线光通信系统的误码性能。提出一种包含广义Gamma分布弱湍流、零/非零视轴指... 详细信息

鉴于目前普遍选用的水下弱湍流模型无法准确拟合实测数据的缺陷,选取经实验测试验证的广义Gamma分布来表征海洋弱湍流,以期合理评估受湍流等因素影响的水下无线光通信系统的误码性能。提出一种包含广义Gamma分布弱湍流、零/非零视轴指向误差以及无衰落信道冲激响应隐路径损耗和多径效应的混合衰落信道模型,据此推导混合衰落串行中继无线光通信系统平均误码率的数学闭型表达;通过数值仿真验证所推导的误码率理论表达式的准确性,并考察不同系统核心参数对误码率的影响。研究结果表明:串行中继节点的引入可有效提高系统的误码性能,以零视轴指向误差、最终传输距离达45 m、误码率需求10-3为例,引入1至3个串行中继节点后,系统从一开始的无法工作,变为所需的发射功率分别降低至24 dBm、12 dBm和6 dBm;而光源初始发散角增大导致的无衰落信道冲激响应时延扩展,即符号间干扰,则会严重降低此性能改善。

关键词：水下无线光通信串行中继性能分析误码率广义Gamma分布

合作-竞争混合型多智能体系统的虚拟遗憾优势自博弈方法

在线全文

学校读者我要写书评

暂无评论

软件学报 2024年第2期35卷 739-757页

作者：张明悦金芝刘坤西南大学计算机信息科学学院&软件学院重庆400715 北京大学计算机学院北京100871 高可信软件技术教育部重点实验室(北京大学) 北京100871

合作-竞争混合型多智能体系统由受控的目标智能体和不受控的外部智能体组成.目标智能体之间互相合作,同外部智能体展开竞争,应对环境和外部智能体的动态变化,最终完成指定的任务.针对如何训练目标智能体使他们获得完成任务的最优策略的... 详细信息

合作-竞争混合型多智能体系统由受控的目标智能体和不受控的外部智能体组成.目标智能体之间互相合作,同外部智能体展开竞争,应对环境和外部智能体的动态变化,最终完成指定的任务.针对如何训练目标智能体使他们获得完成任务的最优策略的问题,现有工作从两个方面展开:(1)仅关注目标智能体间的合作,将外部智能体视为环境的一部分,利用多智能体强化学习来训练目标智能体.这种方法难以应对外部智能体策略未知或者动态改变的情况;(2)仅关注目标智能体和外部智能体间的竞争,将竞争建模为双人博弈,采用自博弈的方法训练目标智能体.这种方法主要针对单个目标智能体和单个外部智能体的情况,难以扩展到由多个目标智能体和多个外部智能体组成的系统中.结合这两类研究,提出一种基于虚拟遗憾优势的自博弈方法.具体地,首先以虚拟遗憾最小化和虚拟多智能体策略梯度为基础,设计虚拟遗憾优势策略梯度方法,使目标智能体能更准确地更新策略;然后,引入模仿学习,以外部智能体的历史决策轨迹作为示教数据,模仿外部智能体的策略,显式地建模外部智能体的行为,来应对自博弈过程中外部智能体策略的动态变化;最后,以虚拟遗憾优势策略梯度和外部智能体行为建模为基础,设计一种自博弈训练方法,该方法能够在外部智能体策略未知或者动态变化的情况下,为多个目标智能体训练出最优的联合策略.以协同电磁对抗为研究案例,设计具有合作-竞争混合特征的3个典型任务.实验结果表明,同其他方法相比,所提方法在自博弈效果方面有至少78%的提升.

关键词：多智能体强化学习虚拟遗憾最小化自博弈动态决策

在线全文

学校读者我要写书评

暂无评论

基于知识编辑的大模型内容生成安全分析

计算机研究与发展 2024年第5期61卷 1143-1155页

作者：王梦如姚云志习泽坤张锦添王鹏徐子文张宁豫浙江大学软件学院杭州315048 浙江大学计算机科学与技术学院杭州310027

大语言模型(large language models,LLMs)虽然取得了显著的成功,但在实际应用中依然面临着安全问题,容易在恶意诱导下生成有毒、有害内容.目前缓解LLMs不安全行为的方法通常需要高昂的数据收集成本以及大量的计算资源.大模型知识编辑可... 详细信息

大语言模型(large language models,LLMs)虽然取得了显著的成功,但在实际应用中依然面临着安全问题,容易在恶意诱导下生成有毒、有害内容.目前缓解LLMs不安全行为的方法通常需要高昂的数据收集成本以及大量的计算资源.大模型知识编辑可以在不重新训练模型的基础上,根据特定的输入精确地改变模型对应的输出,在节约大量资源的条件下约束模型的行为;为优化大模型生成安全内容提供了一个新的可行思路.然而,目前学术界缺乏较为系统和全面的基于知识编辑的大模型内容安全生成分析数据集.具体地说,当前缓解LLMs不安全行为的数据集并未包括所有的不安全场景,且其有毒问题几乎无法绕过对齐后的LLMs安全防线,因此无法缓解对齐后LLMs存在的不安全问题.针对上述问题,设计了新的数据集SafeGen,并提出新的评价体系分析知识编辑在优化LLMs生成安全内容的潜力.大量的实验发现知识编辑可以提高LLMs内部的安全信念,在校正LLMs不安全行为领域展现了广阔的应用前景.但经过知识编辑的LLMs生成文本的流畅性却差强人意,这也表明了这项任务的潜在难度.该工作可以为大模型安全社区提供一些见解.

关键词：大语言模型安全知识编辑内容生成越狱提示防御数据集

在线全文

学校读者我要写书评

暂无评论

基于多模态关系建模的三维形状识别方法

软件学报 2024年第5期35卷 2208-2219页

作者：陈浩楠朱映映赵骏骐田奇深圳大学计算机与软件学院广东深圳518060 华为技术有限公司广东深圳518172

为了充分利用点云和多视图两种模态数据之间的局部空间关系以进一步提高三维形状识别精度,提出一个基于多模态关系的三维形状识别网络,首先设计多模态关系模块(multimodal relation module,MRM),该模块可以提取任意一个点云的局部特征... 详细信息

为了充分利用点云和多视图两种模态数据之间的局部空间关系以进一步提高三维形状识别精度,提出一个基于多模态关系的三维形状识别网络,首先设计多模态关系模块(multimodal relation module,MRM),该模块可以提取任意一个点云的局部特征和一个多视图的局部特征之间的关系信息,以得到对应的关系特征.然后,采用由最大池化和广义平均池化组成的级联池化对关系特征张量进行处理,得到全局关系特征.多模态关系模块分为两种类型,分别输出点-视图关系特征和视图-点关系特征.提出的门控模块采用自注意力机制来发现特征内部的关联信息,从而将聚合得到的全局特征进行加权来实现对冗余信息的抑制.详尽的实验表明多模态关系模块可以使网络获得更优的表征能力;门控模块可以让最终的全局特征更具判别力,提升检索任务的性能.所提网络在三维形状识别标准数据集ModelNet40和ModelNet10上分别取得了93.8%和95.0%的分类准确率以及90.5%和93.4%的平均检索精度,在同类工作中处于先进水平.

关键词：三维形状识别关系建模多模态学习

融合大语言模型和提示学习的数字孪生水利知识图谱构建

在线全文

学校读者我要写书评

暂无评论

计算机应用 2024年

作者：杨燕叶枫许栋张雪洁徐津河海大学计算机与软件学院河海大学水利部水循环与水动力系统重点实验室河海大学水利水电学院水灾害防御全国重点实验室(河海大学)

构建数字孪生水利建设知识图谱挖掘水利建设对象之间的潜在关系，能够帮助相关人员优化水利建设设计方案和决策。针对数字孪生水利建设学科交叉性强、知识结构复杂的特性，以及通用知识抽取模型缺乏对水利领域知识的学习、知识抽取精度... 详细信息

构建数字孪生水利建设知识图谱挖掘水利建设对象之间的潜在关系，能够帮助相关人员优化水利建设设计方案和决策。针对数字孪生水利建设学科交叉性强、知识结构复杂的特性，以及通用知识抽取模型缺乏对水利领域知识的学习、知识抽取精度不足等问题，为了提高知识抽取的精度，提出一种基于大语言模型(LLM)的数字孪生水利领域知识抽取方法(DTKE-LLM)。该方法通过LangChain部署本地大语言模型并集成数字孪生水利领域知识，基于提示学习微调大语言模型，大语言模型利用语义理解和生成能力抽取知识，并设计异源实体对齐策略,优化实体抽取结果。在水利领域语料库上进行对比实验和消融实验，以验证所提方法的有效性。对比实验结果表明，相较于基于深度学习的双向长短期记忆条件随机场(BiLSTM-CRF)命名实体识别模型和通用信息抽取(UIE)模型，DTKE-LLM的精度更优，实体抽取和关系抽取的F1分数分别达到88.63%和84.46%，并且实体抽取的精确率达到了90.11%；消融实验结果表明，相较于LLM基线模型，DTKE-LLM实体抽取和关系抽取F1分数分别提高了5.5个百分点和3.2个百分点。因此，该方法在保障知识图谱构建质量的基础上，实现了数字孪生水利建设知识图谱的构建。

关键词：大语言模型提示学习知识图谱知识抽取数字孪生水利建设

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

基于多示例学习图卷积网络的隐写者检测

自动化学报 2024年第4期50卷 771-789页

作者：钟圣华张智深圳大学计算机与软件学院深圳518060 香港理工大学电子计算学系中国香港999077

隐写者检测通过设计模型检测在批量图像中嵌入秘密信息进行隐蔽通信的隐写者,对解决非法使用隐写术的问题具有重要意义.本文提出一种基于多示例学习图卷积网络(Multiple-instance learning graph convolutional network,MILGCN)的隐写... 详细信息

隐写者检测通过设计模型检测在批量图像中嵌入秘密信息进行隐蔽通信的隐写者,对解决非法使用隐写术的问题具有重要意义.本文提出一种基于多示例学习图卷积网络(Multiple-instance learning graph convolutional network,MILGCN)的隐写者检测算法,将隐写者检测形式化为多示例学习(Multiple-instance learning, MIL)任务.本文中设计的共性增强图卷积网络(Graph convolutional network, GCN)和注意力图读出模块能够自适应地突出示例包中正示例的模式特征,构建有区分度的示例包表征并进行隐写者检测.实验表明,本文设计的模型能够对抗多种批量隐写术和与之对应的策略.

关键词：图像隐写者检测图卷积网络多示例学习示例包表征

同方期刊数据库博看期刊评论

在线全文

学校读者我要写书评

暂无评论

一种基于高阶函数摘要的依赖簇检测方法

电子学报 2024年第4期52卷 1337-1348页

作者：杨嘉毅张迎周李俊锋马锐汪全盛薛渝川南京邮电大学计算机学院、软件学院、网络空间安全学院江苏南京210023

依赖簇是相互依赖的程序组件的最大集合,依赖簇中任意一点产生变动都会引起其他组件的连锁反应.在实际生产环境中,依赖簇检测对于软件理解、测试、维护具有非常重要的意义.传统的依赖簇检测方法基于系统依赖图(System Dependence Graph,... 详细信息

依赖簇是相互依赖的程序组件的最大集合,依赖簇中任意一点产生变动都会引起其他组件的连锁反应.在实际生产环境中,依赖簇检测对于软件理解、测试、维护具有非常重要的意义.传统的依赖簇检测方法基于系统依赖图(System Dependence Graph,SDG)实现过程间依赖关系的计算.但是SDG的构建过程比较复杂,时间空间的占用比较大.为提高依赖簇检测的效率并减少空间占用,本文提出了一种有效的轻量级依赖簇检测方法.该方法通过构建每个过程高阶函数形式的函数摘要,将形参和全局变量的数据依赖作为摘要参数,并用函数摘要的参数初始化过程内依赖信息.通过在调用点处对高阶函数形式的摘要进行实例化,即可将调用过程的依赖关系通过摘要参数进行传递,从而获取过程间的依赖信息.为了进一步提升检测效率,我们还提出了基于自适应计算的依赖簇检测优化策略,该策略可以减少因函数的递归调用产生的相关冗余计算.本文选取了不同规模不同领域的工程项目和基准测试集进行相关对比实验,结果表明:基于高阶函数的依赖簇检测方法相比系统依赖图的检测方法,能够提升2.689倍的分析效率并减少35.7%的空间占用;基于自适应计算的依赖簇检测优化策略在高阶函数方法的基础上能够减少56.7%的冗余计算,提升23.9%的分析效率.

关键词：依赖簇高阶函数自适应计算系统依赖图形式概念分析