检索结果-南通市图书馆

在线全文

学校读者我要写书评

暂无评论

大语言模型评估技术研究进展

数据采集与处理 2024年第3期39卷 502-523页

作者：赵睿卓曲紫畅陈国英王坤龙徐哲炜柯文俊汪鹏北京计算机技术及应用研究所北京100854 东南大学计算机科学与工程学院南京211189

随着大语言模型的广泛应用,针对大语言模型的评估工作变得至关重要。除了大语言模型在下游任务上的表现情况需要评估外,其存在的一些潜在风险更需要评估,例如大语言模型可能违背人类的价值观并且被恶意输入诱导引发安全问题等。本文通... 详细信息

随着大语言模型的广泛应用,针对大语言模型的评估工作变得至关重要。除了大语言模型在下游任务上的表现情况需要评估外,其存在的一些潜在风险更需要评估,例如大语言模型可能违背人类的价值观并且被恶意输入诱导引发安全问题等。本文通过分析传统软件、深度学习模型与大模型的共性与差异,借鉴传统软件测评和深度学习模型评估的指标体系,从大语言模型功能评估、性能评估、对齐评估和安全性评估几个维度对现有工作进行总结,并对大模型的评测基准进行介绍。最后依据现有研究与潜在的机遇和挑战,对大语言模型评估技术方向和发展前景进行了展望。

关键词：大语言模型功能评估性能评估对齐评估安全性评估

在线全文

学校读者我要写书评

暂无评论

面向小样本学习的轻量化知识蒸馏

软件学报 2024年第5期35卷 2414-2429页

作者：陈嘉言任东东李文斌霍静高阳南京大学计算机科学与技术系江苏南京210023

小样本学习旨在模拟人类基于少数样例快速学习新事物的能力,对解决样本匮乏情境下的深度学习任务具有重要意义.但是,在诸多计算资源有限的现实任务中,模型规模仍可能限制小样本学习的广泛应用.这对面向小样本学习的轻量化任务提出了现... 详细信息

小样本学习旨在模拟人类基于少数样例快速学习新事物的能力,对解决样本匮乏情境下的深度学习任务具有重要意义.但是,在诸多计算资源有限的现实任务中,模型规模仍可能限制小样本学习的广泛应用.这对面向小样本学习的轻量化任务提出了现实的需求.知识蒸馏作为深度学习领域广泛使用的辅助策略,通过额外的监督信息实现模型间知识迁移,在提升模型精度和压缩模型规模方面都有实际应用.首先验证知识蒸馏策略在小样本学习模型轻量化中的有效性.并结合小样本学习任务的特点,针对性地设计两种新的小样本蒸馏方法:(1)基于图像局部特征的蒸馏方法;(2)基于辅助分类器的蒸馏方法.在miniImageNet和TieredImageNet数据集上的相关实验证明所设计的新的蒸馏方法相较于传统知识蒸馏在小样本学习任务上具有显著优越性.

关键词：深度学习小样本学习图像识别知识蒸馏模型轻量化

在线全文

学校读者我要写书评

暂无评论

面向边缘部署场景的轻量神经网络修复算法

计算机学报 2024年第6期47卷 1413-1430页

作者：方毓楚李文中曾曜郑阳胡崝陆桑璐南京大学计算机科学与技术系南京210023 华为技术有限公司可信理论技术与工程实验室广东深圳518129

随着深度学习技术的不断进步,神经网络在各领域得到广泛应用,特别是在边缘计算环境中,例如智能交通和新型电网等典型场景.然而,神经网络的可靠性问题限制了其在真实世界的广泛应用.在复杂的边缘环境中,预训练模型往往因未涵盖所有可能... 详细信息

随着深度学习技术的不断进步,神经网络在各领域得到广泛应用,特别是在边缘计算环境中,例如智能交通和新型电网等典型场景.然而,神经网络的可靠性问题限制了其在真实世界的广泛应用.在复杂的边缘环境中,预训练模型往往因未涵盖所有可能的边缘情况而性能下降.因此,针对部署中的神经网络进行高效修复成为一个关键的研究课题.传统修复方法通常涉及整个模型的重新训练,这在边缘场景中具有诸多局限性.首先,不同地理区域的设备可能面临独特的自然噪声,使得统一模型难以适应所有环境.其次,深度神经网络的大规模参数使得其训练和部署时资源消耗巨大,且更新期间的服务中断将降低系统的可用性.为解决这些问题,本文提出了一种轻量级的补丁式神经网络修复算法.该算法通过引入个性化的补丁来增强神经网络对不同边缘环境中自然噪声和边角案例的鲁棒性.具体的,在故障定位阶段,类比于程序插桩中通过注入代码以检测、改进和分析软件行为,本文提出了神经网络插桩技术.通过将模型探针插桩进神经网络,观测其内部运行情况,实现了对错误样本的故障定位.在故障修复时,通过插入无监督搜索得到的神经网络补丁来纠正原始神经网络的输出.此外,本文提出了故障预测模块以提前预测潜在的错误输出,从而仅在必要时激活补丁.在基于2个数据集、15种噪声以及4个神经网络模型的实验中,与现有修复算法相比,本文方法在修复性能上取得了 6.64%至20.00%的提升.同时,本文方法所需的训练样本量减少了超过90%,而所需更新的参数量最高减少了 91.94%.这种有效且轻量的特性为解决边缘计算环境中神经网络的可靠性问题提供了有效途径.

关键词：神经网络修复深度边缘计算故障定位故障预测神经网络补丁

维普期刊数据库评论

在线全文

维普期刊数据库

学校读者我要写书评

暂无评论

基于断面水边线定向的视频测流摄像机标定

电子与信息学报 2024年第4期46卷 1428-1437页

作者：张振姜天生赵丽君程泽河海大学计算机与信息学院南京211100

针对现有基于直接线性变化法(DLT)的图像法测流技术依赖于地面控制点,存在效率低、风险高、宽断面天然河流操作难度大等问题,该文提出一种基于断面水边线定向的摄像机姿态角标定方法(CSWO)。该方法将标定过程分解为实验室内参标定和现... 详细信息

针对现有基于直接线性变化法(DLT)的图像法测流技术依赖于地面控制点,存在效率低、风险高、宽断面天然河流操作难度大等问题,该文提出一种基于断面水边线定向的摄像机姿态角标定方法(CSWO)。该方法将标定过程分解为实验室内参标定和现场外参标定两步,其中后者又被划分为摄像机定位和定向两个环节。定向环节中首先在摄像机安装时将光轴与断面方向对齐,使方位角置零。然后利用无畸变图像中人工标注的平直断面水边线的斜率计算出横滚角。接下来通过计算水边线与图像纵轴交点作为其亚像素像方坐标。最后依据透视投影成像模型,联合水位与插值断面高程求得的物方坐标解算出俯仰角。该方法应用于时空图像测速法(STIV),实现了200 m宽河流的免像控表面流速测量。结果表明:起点距的最大绝对误差为0.59 m,最大相对误差为0.45%,表面流速的最大相对误差小于6.3%。

关键词：表面流速测量 STIV 免地面控制点摄像机标定断面水边线

在线全文

学校读者我要写书评

暂无评论

测试集有效性评价:问题、进展与挑战

软件学报 2024年第2期35卷 532-580页

作者：路则雨张鹏王洋郭肇强杨已彪周毓明计算机软件新技术国家重点实验室(南京大学) 江苏南京210023 南京大学计算机科学与技术系江苏南京210023

测试用例集的缺陷检测有效性指测试集能够在多大程度上检测出软件中存在的缺陷.如何评价测试集的缺陷检测有效性是一个重要问题.覆盖率和变异得分是两个最重要和最广泛使用的测试集有效性度量.为量化测试集的缺陷检测能力,研究人员对测... 详细信息

测试用例集的缺陷检测有效性指测试集能够在多大程度上检测出软件中存在的缺陷.如何评价测试集的缺陷检测有效性是一个重要问题.覆盖率和变异得分是两个最重要和最广泛使用的测试集有效性度量.为量化测试集的缺陷检测能力,研究人员对测试集有效性评价进行了大量研究并且取得了较大的进展.与此同时,现有研究存在不一致的结论,该领域依然存在一些亟待解决的挑战.对多年来国内外学者在测试集有效性评价领域的研究成果进行系统性的梳理和总结.首先,阐述测试集有效性评价研究中的问题.然后,介绍并分析基于覆盖率和基于变异得分的测试集有效性的评价以及介绍测试集有效性评价在测试集优化中的应用.最后,指出测试集有效性评价研究中面临的挑战并给出建议的研究方向.

关键词：覆盖率变异得分缺陷检测测试集有效性

同方期刊数据库

基于先验知识引导提示学习的自监督分类法补全

在线全文

学校读者我要写书评

暂无评论

计算机工程 2024年

作者：陈志强仇瑜朱宇王晓英北京智谱华章科技有限公司青海大学计算机技术与应用系

由于现有各领域种子分类法不完整，且随着时间推移涌现大量新的领域术语，使得各领域种子分类法有待自动补全。现有的自监督分类法补全方法采用图嵌入技术，并未充分利用预训练语言模型所提供的丰富语义信息，且只关注图中局部的节点关... 详细信息

由于现有各领域种子分类法不完整，且随着时间推移涌现大量新的领域术语，使得各领域种子分类法有待自动补全。现有的自监督分类法补全方法采用图嵌入技术，并未充分利用预训练语言模型所提供的丰富语义信息，且只关注图中局部的节点关系，而忽视了整体图结构所蕴含的信息。针对上述问题，提出了一个基于先验知识引导提示学习的自监督分类法补全模型，该模型融合了预训练语言模型的语义信息和种子分类法的结构信息。首先，根据查询节点在垂直路径上存在粗粒度三元组特性，改进了自监督数据集构建策略。其次，在大样本情况下，利用基于预训练和微调模式进行匹配。在微调阶段，为了加强预训练语言模型对真实上位词的关注，在提示（prompt）中融入了真实上位词的同义词或缩略词的先验知识注意力，从而更有效地利用提示来引导预训练模型的微调过程。在匹配阶段，为了降低时间复杂度，采用软束搜索规则。具体来说，在局部图结构上，利用提示指导生成的节点嵌入来评估同级对兄弟节点的查询置信度；在整体图结构上，采用垂直路径的游走方法进行路径截取与排序筛选。然后，在小样本情况下，利用基于提示学习的模式进行匹配，同时采用不同模板组合和上下文示例去微调预训练语言模型。最后，在四个不同领域的大型公开数据集上的实验结果表明，该模型相较于对比方法在指标MR(+15%)、MRR(+0.057)、Hit@10(+0.030)上取得提升。

关键词：分类法补全先验知识提示学习自监督预训练语言模型

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

带拒绝推理的反绎学习方法

计算机研究与发展 2024年第7期61卷 1791-1798页

作者：黄宇轩姜远计算机软件新技术全国重点实验室(南京大学) 南京210023

近年来,许多研究工作致力于将数据驱动的机器学习和知识驱动的逻辑推理相结合,以提高机器学习的性能.其中,不少工作尝试利用反绎推理,将机器学习与逻辑推理融合到一个框架中.这些方法通过机器学习模型生成伪标记,然后利用反绎推理来修... 详细信息

近年来,许多研究工作致力于将数据驱动的机器学习和知识驱动的逻辑推理相结合,以提高机器学习的性能.其中,不少工作尝试利用反绎推理,将机器学习与逻辑推理融合到一个框架中.这些方法通过机器学习模型生成伪标记,然后利用反绎推理来修正不一致的伪标记,以更新机器学习模型并多次迭代.然而,反绎中可能会存在错误标记,这些标记会对模型训练产生负面影响且难以被发现.因此提出一种带拒绝推理的反绎学习方法,它同时考虑反绎标记的模型不确定性和推理不确定性,从数据层面和知识层面综合评估反绎结果的可靠性,并通过拒绝部分反绎推理结果来避免不可靠的反绎标记对模型训练的负面影响.实验表明,提出的方法可以减少错误反绎标记的比例、加速反绎学习的训练并带来更好的性能.

关键词：反绎学习机器学习逻辑推理反绎推理神经符号学习

在线全文

学校读者我要写书评

暂无评论

基于多模态关系建模的三维形状识别方法

软件学报 2024年第5期35卷 2208-2219页

作者：陈浩楠朱映映赵骏骐田奇深圳大学计算机与软件学院广东深圳518060 华为技术有限公司广东深圳518172

为了充分利用点云和多视图两种模态数据之间的局部空间关系以进一步提高三维形状识别精度,提出一个基于多模态关系的三维形状识别网络,首先设计多模态关系模块(multimodal relation module,MRM),该模块可以提取任意一个点云的局部特征... 详细信息

为了充分利用点云和多视图两种模态数据之间的局部空间关系以进一步提高三维形状识别精度,提出一个基于多模态关系的三维形状识别网络,首先设计多模态关系模块(multimodal relation module,MRM),该模块可以提取任意一个点云的局部特征和一个多视图的局部特征之间的关系信息,以得到对应的关系特征.然后,采用由最大池化和广义平均池化组成的级联池化对关系特征张量进行处理,得到全局关系特征.多模态关系模块分为两种类型,分别输出点-视图关系特征和视图-点关系特征.提出的门控模块采用自注意力机制来发现特征内部的关联信息,从而将聚合得到的全局特征进行加权来实现对冗余信息的抑制.详尽的实验表明多模态关系模块可以使网络获得更优的表征能力;门控模块可以让最终的全局特征更具判别力,提升检索任务的性能.所提网络在三维形状识别标准数据集ModelNet40和ModelNet10上分别取得了93.8%和95.0%的分类准确率以及90.5%和93.4%的平均检索精度,在同类工作中处于先进水平.

关键词：三维形状识别关系建模多模态学习

多项正则化约束的伪标签传播优化脑电信号聚类

在线全文

学校读者我要写书评

暂无评论

计算机研究与发展 2024年第1期61卷 156-171页

作者：代成龙李光辉李栋申佳华皮德常江南大学人工智能与计算机学院江苏无锡214122 南京航空航天大学计算机科学与技术学院南京211106

作为一种非侵入式分析载体,脑电信号目前被广泛应用于脑-机接口、医疗辅助诊断及康复领域,但这些应用通常依赖需要完整标签的有监督分析技术,如分类.随着无标签脑电信号的与日俱增,现有的有监督方法不能有效解决无标签脑电信号分析问题... 详细信息

作为一种非侵入式分析载体,脑电信号目前被广泛应用于脑-机接口、医疗辅助诊断及康复领域,但这些应用通常依赖需要完整标签的有监督分析技术,如分类.随着无标签脑电信号的与日俱增,现有的有监督方法不能有效解决无标签脑电信号分析问题,也在一定程度上限制了无标签脑电信号这类新型数据的应用拓展.为了解决无标签脑电信号的无监督分析问题,提出了一种基于多项正则化约束的伪标签传播优化聚类模型.该模型通过同时优化学习伪标签传播矩阵、脑电信号相似度邻接矩阵、标签分类器的方式实现聚类.将提出的脑电信号聚类模型转化为一个多目标优化问题,并提出了一种基于梯度下降策略的聚类算法EEGapc(electroencephalogram clustering with pseudo label propagation).该算法不仅充分考虑了脑电信号之间的相关性及脑电信号间的信息传递,还能快速收敛到局部最优.在14个真实脑电信号数据集上的实验结果表明,提出的EEGapc脑电信号聚类算法比现有的8种聚类算法性能更好,且在平均NMI(normalized mutual information),ARI(adjusted rand index),F-score,kappa这4个指标上,EEGapc与现有的8种聚类算法相比,分别至少提升了86.88%,58.01%,6.29%,61.17%.

关键词：脑电信号聚类伪标签传播邻接矩阵优化伪标签分类器多目标优化