检索结果-南通市图书馆

在线全文

学校读者我要写书评

暂无评论

基于多重视觉注意力的唇语识别

模式识别与人工智能 2024年第1期37卷 73-84页

作者：谢胤岑薛峰曹明伟合肥工业大学计算机与信息学院合肥230601 合肥工业大学软件学院合肥230601 安徽大学计算机科学与技术学院合肥230601

唇语识别是将单个说话人嘴唇运动的无声视频翻译成文字的一种技术.由于嘴唇运动幅度较小,现有唇语识别方法的特征区分能力和泛化能力都较差.针对该问题,文中分别从时间、空间和通道三个维度研究唇语视觉特征的提纯问题,提出基于多重视... 详细信息

唇语识别是将单个说话人嘴唇运动的无声视频翻译成文字的一种技术.由于嘴唇运动幅度较小,现有唇语识别方法的特征区分能力和泛化能力都较差.针对该问题,文中分别从时间、空间和通道三个维度研究唇语视觉特征的提纯问题,提出基于多重视觉注意力的唇语识别方法(Lipreading Based on Multiple Visual Attention Network,LipMVA).首先利用通道注意力自适应校准通道级别的特征,减轻无意义通道的干扰.然后使用两种粒度不同的时空注意力,抑制不重要的像素或帧的影响.CMLR、GRID数据集上的实验表明LipMVA可降低识别错误率,由此验证方法的有效性.

关键词：唇语识别视觉语音识别注意力机制深度神经网络特征提取

IATG:基于解释分析的自动驾驶软件测试方法

在线全文

学校读者我要写书评

暂无评论

软件学报 2024年第6期35卷 2753-2774页

作者：谢瑞麟崔展齐陈翔郑丽伟北京信息科技大学计算机学院北京100101 南通大学信息科学技术学院江苏南通226019

以深度神经网络(deep neural network,DNN)为基础构建的自动驾驶软件已成为最常见的自动驾驶软件解决方案.与传统软件一样,DNN也会产生不正确输出或意想不到的行为,基于DNN的自动驾驶软件已经导致多起严重事故,严重威胁生命和财产安全.... 详细信息

以深度神经网络(deep neural network,DNN)为基础构建的自动驾驶软件已成为最常见的自动驾驶软件解决方案.与传统软件一样,DNN也会产生不正确输出或意想不到的行为,基于DNN的自动驾驶软件已经导致多起严重事故,严重威胁生命和财产安全.如何有效测试基于DNN的自动驾驶软件已成为亟需解决的问题.由于DNN的行为难以预测和被人类理解,传统的软件测试方法难以适用.现有的自动驾驶软件测试方法通常对原始图片加入像素级的扰动或对图片整体进行修改来生成测试数据,所生成的测试数据通常与现实世界差异较大,所进行扰动的方式也难以被人类理解.为解决上述问题,提出测试数据生成方法IATG(interpretability-analysis-based test data generation),使用DNN的解释方法获取自动驾驶软件所做出决策的视觉解释,选择原始图像中对决策产生重要影响的物体,通过将其替换为语义相同的其他物体来生成测试数据,使生成的测试数据更加接近真实图像,其过程也更易于理解.转向角预测模型是自动驾驶软件决策模块重要组成部分,以此类模型为例进行实验,结果表明解释方法的引入有效增强IATG对转向角预测模型的误导能力.此外,在误导角度相同时IATG所生成测试数据比DeepTest更加接近真实图像;与semSensFuzz相比,IATG具有更高误导能力,且IATG中基于解释分析的重要物体选择技术可有效提高semSensFuzz的误导能力.

关键词：深度神经网络自动驾驶软件解释方法软件测试

MMCUP:融合多模态信息的代码注释自动更新方法

在线全文

学校读者我要写书评

暂无评论

计算机学报 2024年第1期47卷 172-189页

作者：刘诗凡崔展齐陈翔李莉北京信息科技大学计算机学院北京100101 南通大学信息科学技术学院江苏南通226019

良好的代码注释对于程序维护有着重要价值.但在实际开发过程中,开发人员经常会在更改代码后忽略更新相应的代码注释,导致更新后的代码和注释不一致,对软件可维护性造成影响.现有注释更新方法在进行注释更新时,通常仅将代码视为普通文本... 详细信息

良好的代码注释对于程序维护有着重要价值.但在实际开发过程中,开发人员经常会在更改代码后忽略更新相应的代码注释,导致更新后的代码和注释不一致,对软件可维护性造成影响.现有注释更新方法在进行注释更新时,通常仅将代码视为普通文本进行处理,忽视了代码结构信息.为此,本文提出了一种融合多模态信息的代码注释更新方法MMCUP(Multi-Modal Comment UPdating).MMCUP使用了旧代码注释、代码编辑序列和AST差异序列三种模态的信息来训练基于Transformer架构的模型,以对注释进行更新.实验结果表明,,MMCUP在Accuracy、Recall@5等指标上相较于CUP和HatCUP等方法至少提高了5.8%和4.4%.

关键词：代码注释更新程序理解代码-注释共同演化深度学习序列到序列模型

在线全文

学校读者我要写书评

暂无评论

基于可解释性分析的深度神经网络优化方法

计算机研究与发展 2024年第1期61卷 209-220页

作者：吴欢欢谢瑞麟乔塬心陈翔崔展齐北京信息科技大学计算机学院北京100101 南通大学信息科学技术学院江苏南通226019

近年来,深度神经网络(deep neural network,DNN)在众多领域取得了广泛应用,甚至在安全关键系统中已经可以代替人类作出决策,如自动驾驶和智慧医疗等,这对DNN的可靠性提出了更高的要求.由于DNN具有复杂的多层非线性网络结构,难以理解其... 详细信息

近年来,深度神经网络(deep neural network,DNN)在众多领域取得了广泛应用,甚至在安全关键系统中已经可以代替人类作出决策,如自动驾驶和智慧医疗等,这对DNN的可靠性提出了更高的要求.由于DNN具有复杂的多层非线性网络结构,难以理解其内部预测机制,也很难对其进行调试.现有的DNN调试工作主要通过修改DNN的参数和扩增数据集提升DNN性能,以达到优化的目的.然而直接调整参数难以控制修改的幅度,甚至使模型失去对训练数据的拟合能力;而无指导地扩增训练数据则会大幅增加训练成本.针对此问题,提出了一种基于可解释性分析的DNN优化方法(optimizing DNN based on interpretability analysis,OptDIA).对DNN的训练过程及决策行为进行解释分析,根据解释分析结果,将原始数据中对DNN决策行为产生不同程度影响的部分以不同概率进行数据变换以生成新训练数据,并重训练DNN,以提升模型性能达到优化DNN的目的.在使用3个数据集训练的9个DNN模型上的实验结果表明,OptDIA可以将DNN的准确率提升0.39~2.15个百分点,F1-score提升0.11~2.03个百分点.

关键词：深度神经网络 DNN优化 DNN缺陷 DNN性能可解释性分析

在线全文

学校读者我要写书评

暂无评论

基于全局局部协同的非均匀图像去雾方法

自动化学报 2024年第7期50卷 1333-1344页

作者：罗小同杨汶锦曲延云谢源厦门大学信息学院计算机科学与技术系厦门361005 华东师范大学计算机科学与技术学院上海200063

近年来,基于卷积神经网络(Convolutional neural network,CNN)的图像去雾方法在合成数据集上取得了显著的进展,但由于真实场景中存在雾分布不均的问题,卷积运算的局部感受野难以有效捕获到上下文指导信息,从而导致全局结构信息丢失.因此... 详细信息

近年来,基于卷积神经网络(Convolutional neural network,CNN)的图像去雾方法在合成数据集上取得了显著的进展,但由于真实场景中存在雾分布不均的问题,卷积运算的局部感受野难以有效捕获到上下文指导信息,从而导致全局结构信息丢失.因此,真实场景下的图像去雾任务面临着巨大的挑战.考虑到Transformer具有捕获长距离语义信息依赖关系的优势,有利于引导全局结构信息重建.然而,标准Transformer结构的高计算复杂度阻碍了其在图像恢复中的应用.针对上述提到的问题,提出一个由Transformer和卷积神经网络组成的双分支协同非均匀图像去雾网络***分支用于提取全局结构信息,同时设计稀疏自注意力模块(Sparse self-attention modules,SSM)以降低计算复杂度.卷积神经网络分支用于获取局部信息,从而恢复纹理细节.在真实非均匀有雾场景下的实验结果表明,该方法不管是在客观评价还是在主观视觉效果方面均达到优异的性能.

关键词：图像去雾卷积神经网络 Transformer 特征融合稀疏自注意力

维普期刊数据库博看期刊

在线全文

学校读者我要写书评

暂无评论

基于统计特征搜索的多元时间序列预测方法

电子与信息学报 2024年第8期46卷 3276-3284页

作者：潘金伟王乙乔钟博王晓玲华东师范大学计算机科学与技术学院上海200062

时间序列中包含一些长期依赖关系,如长期趋势性、季节性和周期性,这些长期依赖信息的跨度可能是以月为单位的,直接应用现有方法无法显式建模时间序列的超长期依赖关系。该文提出基于统计特征搜索的预测方法来显式地建模时间序列中的长... 详细信息

时间序列中包含一些长期依赖关系,如长期趋势性、季节性和周期性,这些长期依赖信息的跨度可能是以月为单位的,直接应用现有方法无法显式建模时间序列的超长期依赖关系。该文提出基于统计特征搜索的预测方法来显式地建模时间序列中的长期依赖。首先对多元时间序列中的平滑特征、方差特征和区间标准化特征等统计特征进行抽取,提高时间序列搜索对趋势性、周期性、季节性的感知。随后结合统计特征在历史序列搜索相似的序列,并利用注意力机制融合当前序列信息与历史序列信息,生成可靠的预测结果。在5个真实的数据集上的实验表明该文提出的方法优于6种最先进的方法。

关键词：多元时间序列预测注意力机制长期依赖

移动物联网环境下无线传感网络异常节点快速定位算法

在线全文

学校读者我要写书评

暂无评论

传感技术学报 2024年第8期37卷 1448-1453页

作者：贾文雅杨红菊山西药科职业学院器械工程系山西太原030031 山西大学计算机与信息技术学院山西太原030006

为了提升无线传感网络异常节点定位精度,提出一种移动物联网环境下无线传感网络异常节点快速定位算法。通过高通图滤波器对网络信号展开处理后获取高频分量,利用高频分量划分异构哈希网络,确定子图对应输出信号的特征频率分量。通过对... 详细信息

为了提升无线传感网络异常节点定位精度,提出一种移动物联网环境下无线传感网络异常节点快速定位算法。通过高通图滤波器对网络信号展开处理后获取高频分量,利用高频分量划分异构哈希网络,确定子图对应输出信号的特征频率分量。通过对比疑似异常节点集合和子图节点集合进行异常节点检测。利用锚节点和未知节点之间的跳数展开区域划分,并选择对应跳距的锚节点估算展开距离。通过筛选方式排除异常因子并优化全局最优解,完成异常节点定位。实验结果表明,所提方法能够实现异常节点精准检测,检测概率高达99%以上,虚警概率最高仅为0.02%,针对不同数量的锚节点数、通信半径与未知节点数,其平均定位误差均处于5%以下,提升了系统的实用性。

关键词：移动物联网环境无线传感网络异常节点快速定位

在线全文

学校读者我要写书评

暂无评论

面向非稳态场景的生命体征监测优化方法

计算机研究与发展 2024年第2期61卷 481-493页

作者：邱杰凡徐一帆徐瑞吉周栋利池凯凯浙江工业大学计算机科学与技术学院杭州310023

使用基于调频连续波的毫米波雷达监测生命体征信息,具有无接触、隐私保护性好、高分辨率以及抗干扰性好等优势,逐渐成为研究热点.然而,目前研究者主要关注如何提高被测对象处于稳态(如静止)时的体征监测效果,但受制于肢体运动对雷达信... 详细信息

使用基于调频连续波的毫米波雷达监测生命体征信息,具有无接触、隐私保护性好、高分辨率以及抗干扰性好等优势,逐渐成为研究热点.然而,目前研究者主要关注如何提高被测对象处于稳态(如静止)时的体征监测效果,但受制于肢体运动对雷达信号的干扰,使得该技术在非稳态场景中的应用受到限制.提出一种基于人体运动状态识别的非稳态场景体征监测方法,以best-effort方式实现了存在大幅度肢体动作的场景中对体征信息的监测,并且能够识别对应的动作类型.首先,根据运动特征计算出带有距离-主导速度信息的特征频谱图.其次,使用一种滑动窗口采样方法以采集连续样本.随后训练ResNet-18网络来识别运动状态以及分类运动类型.最后,基于运动状态分类结果,在运动间歇期提取信号的相位信息,采用变分模态分解算法进行呼吸速率和心率的提取.实验结果表明,训练后的网络可以精确地识别运动状态和运动类型,识别准确率接近97%,识别延迟小于1.1 s.对呼吸和心率的监测结果的平均绝对误差(MAD)下降到1.7 bpm和3.4 bpm.

关键词：毫米波雷达生命体征监测运动状态识别滑动窗口采样残差网络变分模态分解

在线全文

学校读者我要写书评

暂无评论

基于多尺度特征信息融合的时间序列异常检测

西安电子科技大学学报 2024年第3期51卷 203-214页

作者：衡红军喻龙威中国民航大学计算机科学与技术学院天津300300

目前大多数的时间序列都缺少相应的异常标签,且现有基于重构的异常检测算法不能很好地捕获到多维数据间复杂的潜在相关性和时间依赖性,为了构建特征丰富的时间序列,提出一种多尺度特征信息融合的异常检测模型。该模型首先通过卷积神经... 详细信息

目前大多数的时间序列都缺少相应的异常标签,且现有基于重构的异常检测算法不能很好地捕获到多维数据间复杂的潜在相关性和时间依赖性,为了构建特征丰富的时间序列,提出一种多尺度特征信息融合的异常检测模型。该模型首先通过卷积神经网络对滑动窗口内的不同序列进行特征卷积来获取不同尺度下的局部上下文信息。然后,利用Transformer中的位置编码对卷积后的时间序列窗口进行位置嵌入,增强滑动窗口中每一个时间序列和邻近序列之间的位置联系,并引入时间注意力获取数据在时间维度上的自相关性,并进一步通过多头自注意力自适应地为窗口内不同时间序列分配不同的权重。最后,对反卷积过程中上采样得到的窗口数据与不同尺度下得到的局部特征和时间上下文信息进行逐步融合,从而准确重构原始时间序列,并将重构误差作为最终的异常得分进行异常判定。实验结果表明,所构建模型在SWaT和SMD数据集上与基线模型相比F1分数均有所提升。在数据维度高且均衡性较差的WADI数据集上与GDN模型相比F1分数降低了1.66%。

关键词：异常检测多尺度信息融合卷积神经网络 Transformer 多维时间序列自编码器