检索结果-南通市图书馆

同方期刊数据库评论

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

神经网络的拓扑解释

神经网络的拓扑解释

作者：阳蕾重庆理工大学

学位级别：硕士

过去十年间,在计算机视觉、自然语言处理和音频识别领域,深度神经网络作为人工智能的一部分,取得了瞩目的成果和进展。其中卷积神经网络(CNNs)在深度学习应用中尤其重要,特别是计算机视觉领域。但越来越复杂的模型、难以深入解的内部工... 详细信息

过去十年间,在计算机视觉、自然语言处理和音频识别领域,深度神经网络作为人工智能的一部分,取得了瞩目的成果和进展。其中卷积神经网络(CNNs)在深度学习应用中尤其重要,特别是计算机视觉领域。但越来越复杂的模型、难以深入解的内部工作原理等问题让神经网络的发展受到了阻碍。特别在金融、医疗和国防等关键领域,一个小小的错误或恶意攻击都可能带来灾难性后果,模型的透明度和可解释性受到了广泛关注。为了解决这些问题,论文采用了拓扑作为数据分析的工具,这种分析的核心方法是持续同调,它作为一种全局变量,能够关注数据本质的全局特征和拓扑结构,通过捕捉CNNs在学习过程中的拓扑变化,利用拓扑特征,即Betti曲线的变化来识别CNNs中卷积核的拓扑特征中的一般模式。在此过程中,需要建立不同结构的神经网络,然后针对不同数据集进行训练,炼出卷积核进行下一步分析。对这些卷积核构成空间的Betti曲线分析后发现,如果着眼于零阶和一阶Betti数(分别称为Betti-0和Betti-1,它们分别表示连接组件和环的数量),那么其Betti数的动态变化可以揭示CNNs学习过程中的卷积核变化趋势。本文的研究成果主要包括:(1)卷积核拓扑演变的普遍性:在训练的整个周期内,Betti-0曲线始终朝着向右的方向移动,而Betti-1曲线显示出一个先上升后下降的模式,以峰值减少和右移为特点。(2)Betti曲线的变化可以作为网络学习的指示器:若网络训练期间观察到第1点述的演变规律,这表明神经网络正在有效地学习。相反,如果这种模式不明显,则可能意味着学习过程中遇到了障碍。(3)当CNNs在灰度和彩色数据集上进行训练时,可以发现拓扑结构上的显著差异,这表明在彩色图像处理中需要更广泛的参数空间调整。这项研究不仅增进了对CNNs错综复杂操作的理解,还有助于消除其复杂操作与实际可解释应用之间的差距。

关键词：神经网络可解释性拓扑数据分析卷积核 Betti曲线

RBF神经网络的粗糙集解释及粗糙集的多阶定义

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

RBF神经网络的粗糙集解释及粗糙集的多阶定义

作者：汪杰浙江师范大学

学位级别：硕士

深度学习技术的不断发展,衍生出神经网络的广泛应用,如基于自然语言处理的Chat GPT对话模型。神经网络的可解释性成为热门研究课题。径向基神经网络(Radial Basis Function Neural Network,简称RBF神经网络)以结构简单、学习速度快、逼... 详细信息

深度学习技术的不断发展,衍生出神经网络的广泛应用,如基于自然语言处理的Chat GPT对话模型。神经网络的可解释性成为热门研究课题。径向基神经网络(Radial Basis Function Neural Network,简称RBF神经网络)以结构简单、学习速度快、逼近效果好等优点,不断被运用于与人类息息相关的日常活动中,并逐渐成为神经网络不可或缺的一部分,对RBF神经网络的可解释性研究具有较大的现实意义。但是,当前RBF神经网络的可解释性研究存在诸如隐藏层神经元可解释性证明不足、模型的可解释性与性能不平衡等问题。粗糙集理论是一种刻画不完全性、不确定性问题的数学工具,无需任何先验知识,能够从客观角度剖析数据,具备很强的可解释性。不同于传统的粗糙集,模糊决策粗糙集可以直接运用于数值型数据,具有较好的性能,其内在高斯核模糊T-等价关系与RBF神经网络内核的关联性提供了实现可解释性的基础。当前多数的粗糙集模型在结合各种神经网络时难以实现可解释性,这需要从更广阔的意义上对粗糙集模型进行扩展,探索粗糙集在不同维度下的定义,从而更好地解释各种神经网络。针对上述问题,本文从粗糙集模型的视角出发探究RBF神经网络的可解释性,设计基于模糊决策粗糙集的RBF神经网络可解释性模型,提出RBF神经网络的规则提取算法和基于模糊决策粗糙集的RBF神经网络可解释性与优化算法,并细致探讨了当前粗糙集模型的信息损失问题与多阶定义。具体研究如下:首先,定义可解释性因子,提出模糊决策粗糙集模型视角下对RBF神经网络可解释性研究的新方法。探索在粗糙集视角下RBF神经网络规则的可度量性,提出TEORBF算法获取神经网络知识集合,通过可解释性因子建立概念的高耦合,并提出FDRSIR解释性算法生成细粒度层级的解释,详细描述神经网络处理过程的决策行为。9组UCI数据集上的实验验证了该方法对神经元解释的有效性。其次,提出了基于模糊决策粗糙集的RBF神经网络优化算法FDRS-OLS-RBF。将可解释性因子作为启发式信息引入神经元的训练过程,利用细粒度的解释性指标修正神经元权值,实现一种新的优化方式,提高神经网络模型的性能。在9组数据集上的实验结果表明了该方法有效性。最后,提出了粗糙集模型信息损失的计算方法,继而提出了多阶粗糙集。为了将粗糙集模型更全面地扩展到神经网络可解释性研究,提出一种计算粗糙集模型信息损失的方法,根据信息损失不同将粗糙集模型分为3类:零阶粗糙集、一阶粗糙集和二阶粗糙集。给出了一阶粗糙集与二阶粗糙集及其属性约简的定义,探讨了各类属性约简之间的关系。研究结果为粗糙集实现更广泛的神经网络可解释性提供理论基础,也为粗糙集的研究提供新的视角。

关键词：神经网络可解释性径向基神经网络模糊决策粗糙集信息损失多阶粗糙集

基于CNN-GAP可解释性模型的软件源码漏洞检测方法

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

电子与信息学报 2022年第7期44卷 2568-2575页

作者：王剑匡洪宇李瑞林苏云飞国防科技大学电子科学学院长沙410073

源代码漏洞检测是保证软件系统安全的重要手段。近年来,多种深度学习模型应用于源代码漏洞检测,极大提高了漏洞检测的效率,但还存在自定义标识符导致库外词过多、嵌入词向量的语义不够准确、神经网络模型缺乏可解释性等问题。基于此,该... 详细信息

源代码漏洞检测是保证软件系统安全的重要手段。近年来,多种深度学习模型应用于源代码漏洞检测,极大提高了漏洞检测的效率,但还存在自定义标识符导致库外词过多、嵌入词向量的语义不够准确、神经网络模型缺乏可解释性等问题。基于此,该文提出了一种基于卷积神经网络(CNN)和全局平均池化(GAP)可解释性模型的源代码漏洞检测方法。首先在源代码预处理中对部分自定义标识符进行归一化,并采用One-hot编码进行词嵌入以缓解库外词过多的问题;然后构建CNN-GAP神经网络模型,识别出包含CWE-119缓冲区溢出类型漏洞的函数;最后通过类激活映射(CAM)可解释方法对结果进行可视化输出,标识出可能与漏洞相关的代码。通过与Russell等人提出的模型以及Li等人提出的VulDeePecker模型进行对比分析,表明CNN-GAP模型能达到相当甚至更好的性能,且具有一定的可解释性,便于研究人员对漏洞进行更深入的分析。

关键词：源代码漏洞检测深度学习神经网络可解释性

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

基于深度学习的非编码区SNP功能研究

基于深度学习的非编码区SNP功能研究

作者：何叶华东师范大学

学位级别：硕士

通过进行全基因组关联研究(Genome-Wide Association Study,GWAS),人们可以检测存在于人类全基因组范围内的单核苷酸多态性(Single Nucleotide Polymorphism,SNP),并从中发现与疾病有关的SNP。SNP是DNA序列中由单个碱基的变化导致的基... 详细信息

通过进行全基因组关联研究(Genome-Wide Association Study,GWAS),人们可以检测存在于人类全基因组范围内的单核苷酸多态性(Single Nucleotide Polymorphism,SNP),并从中发现与疾病有关的SNP。SNP是DNA序列中由单个碱基的变化导致的基因突变。GWAS研究表明,大部分的SNP位点发生在非编码区。非编码区的基因不像编码区一样可以转录翻译为蛋白质进而发挥相应的功能,而是通过对基因表达过程的间接调控来影响生物体的生命活动。因此,对非编码区SNP功能的研究成为了基因组学领域的一个重要而又富有挑战的问题。本文将针对包含非编码区SNP的DNA序列,对近千个SNP功能特征标签进行分类预测,这些标签均为取值是0或1的二元变量。随着基因组学数据量的增加和大数据驱动下的深度学习的发展,许多基因组学领域的研究开始尝试使用深度学习的方法。本文构建了一种深度神经网络框架,用于解决非编码区SNP功能预测问题,并将这种新的算法框架命名为Deep At GRU。Deep At GRU采用卷积神经网络和循环神经网络相叠加的结构,创新性地使用双向门控循环单元(双向GRU)结合自注意力机制来提取DNA序列中的远程作用信息。Deep At GRU能够更准确地识别非编码区SNP存在的远距离作用,在针对非编码区SNP功能的多任务分类问题上取得了更好的预测效果。本文基于100万条训练数据,8000条验证数据和10000条测试数据,对Deep At GRU进行训练,最终得到的Deep At GRU在测试集上的各项评价指标均优于已有的Deep SEA、Dan Q和只包含双向GRU而没有引入自注意力机制的Deep GRU这三种算法框架。接着,本文使用Deep LIFT方法提取Deep At GRU在训练过程中识别到的关键DNA基序。这些DNA基序与非编码区SNP的功能特征具有显著的对应关系,这也为Deep At GRU的有效性提供了具有基因组学意义的解释。

关键词：非编码区SNP 深度学习算法框架 SNP功能预测神经网络可解释性自注意力机制

基于注意力机制的文本分类方法及其可解释性研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于注意力机制的文本分类方法及其可解释性研究

作者：彭杰中南大学

学位级别：硕士

文本分类是指按照一定的规则、标准对文本进行自动分类标记。近年来,自然语言处理在深度学习技术的支持下取得显著进步。基于深度学习的文本分类任务,一方面不断追求准确率、召回率等指标的提升,另一方面,对任务模型的可解释性、鲁棒性... 详细信息

文本分类是指按照一定的规则、标准对文本进行自动分类标记。近年来,自然语言处理在深度学习技术的支持下取得显著进步。基于深度学习的文本分类任务,一方面不断追求准确率、召回率等指标的提升,另一方面,对任务模型的可解释性、鲁棒性、并行性、训练速度等方面提出了更高要求。本文在注意力机制的基础上展开研究,以Encoder为基本框架,设计文本分类模型。本文的主要研究内容和创新点如下:(1)在自注意力的基础上提出文本分类模型Encoder＿FC。RNN可用于收集和传递上下文信息,是自然语言处理任务的经典模型。对于文本分类,尤其是长文本,RNN的串行结构会使得模型运行的时间步较高。本文引入自注意力算法,利用自注意力算法获取文本的上下文依赖关系。Encoder＿FC通过并行计算减少模型运行所需时间步,提高其对长文本的兼容能力。进一步,本文引入层次化思想,通过切割张量降低自注意力算法的时间复杂度与空间复杂度,提高模型的训练速度。实验结果表明,上述方法在长文本分类任务上具有可行性。(2)提出主题注意力机制以及具有决策解释能力的通用文本分类模型TAC(Topic Attention Classifier)。Encoder＿FC和B-En FC模型的查询向量易发生退化,使得大量的参数被隐性的舍弃。本文揭示了这一退化过程,并在这一发现的基础上,提出一种更有效的注意力分类机制——主题注意力机制。TAC为每个最小输入建立专有开关,控制不同输入对不同类别的影响,使得注意力计算专注于为分类服务,并提供决策解释。本文提出了TAC的基础模型TA-Base,该模型使用较小的参数空间完成了文本分类。在THUCNews数据集上进行测试,该模型训练速度显著快于对比模型,并在验证集上达到83%的准确率。将TA-Base的概率矩阵可视化,可观察模型在分类时对每一个输入的关注程度。(3)提出一种可用于增强主题注意力表达能力的组件——注意力通信单元(Attention Talk Unit,ATU)。TA-Base关注的文本内容较为离散,限制了该模型在文本分类上的表现。ATU通过多个一元分布拟合多元分布,帮助模型收集更完整的信息。本文为ATU设计了3种通信模式:临近通信、主题通信和联合通信。进一步,本文在临近通信的基础上提出TAC-V模型,在THUCNews和IMDB数据集上进行测试,该模型在准确率、召回率、精准率、F1值、训练速度等指标上取得了较好的表现。图35幅,表21个,参考文献71篇

关键词：文本分类注意力机制块注意力主题注意力注意力通信单元神经网络可解释性

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

低信噪比低截获雷达信号的调制方式识别方法

低信噪比低截获雷达信号的调制方式识别方法

作者：王秋然电子科技大学

学位级别：硕士

低截获雷达可以通过控制发射功率,防止被截获识别的雷达,具有反隐身性。对这种信号的波形识别在电子战中非常重要。本文主要针对低信噪比条件下,波形的识别算法进行研究,重点研究接收机采样预处理后的信号波形识别问题。本文结合利用时... 详细信息

低截获雷达可以通过控制发射功率,防止被截获识别的雷达,具有反隐身性。对这种信号的波形识别在电子战中非常重要。本文主要针对低信噪比条件下,波形的识别算法进行研究,重点研究接收机采样预处理后的信号波形识别问题。本文结合利用时频分析和卷积神经网络,进一步提升了识别准确率,并在10种调制方式的仿真数据集上进行验证。同时以信号分析的视角再理解卷积神经网络,提升了算法的可解释性。本文的主要研究内容和贡献如下:1.针对低信噪比识别准确率较低的问题,提出利用WVD变换和基于MobileNet1.0-V2的网络相结合的识别算法。在5次随机重复抽样的验证下,相比前人的研究成果,信噪比为-8dB时,本文方法比基于LeNet的方法提升了约20%,信噪比为-10dB时,比基于ResNet的方法提升了约3.5%,同时具有较小的时间内存消耗。2.针对时频分析方法种类较多,难以选择的问题,梳理对比常用的时频分析方法。发现Wigner-Ville变换更适合作为识别能力较强的卷积神经网络的输入。并在后续实验中,得到了初步验证,信噪比为-8dB时,使用本文方法,Wigner-Ville变换作为输入比Choi-Williams变换作为输入,准确率提升约3%。3.针对在实验中卷积神经网络种类较多,难以选择的问题,梳理对比五种经典网络。发现其在ImageNet上的准确率、时间和内存消耗的指标数据,与在低截获雷达信号数据上的对应指标数据,具有一定的正相关性,具有潜在指导选择网络的意义。4.针对应用在信号分析领域的卷积神经网络缺乏解释性的问题,以信号分析的视角对其重新描述。对卷积核和池化及其参数、卷积核之间的级联和分解,以及卷积神经网络对Wigner-Ville变换的意义等方面分别阐述,提高了卷积神经网络算法的可解释性,同时具有潜在的指导卷积神经网络设计和使用意义。5.在重新描述卷积神经网络的基础上,将信号分析领域中的时频不确定性理论,定性推广到卷积神经网络中的卷积核上,得到特征的局部性(卷积核大小)和特征的细腻性(卷积核纹理)的不确定性。具有潜在指导设计和使用网络的意义。

关键词：低截获雷达波形识别时频分析卷积神经网络神经网络可解释性