检索结果-南通市图书馆

在线全文

学校读者我要写书评

暂无评论

基于神经正切核的小数据集回归任务

信息技术 2024年第5期48卷 73-80页

作者：翟玥璟刘海忠兰州交通大学兰州730070

回归是常见的一类任务,两类特殊的回归模型:支持向量回归(SVR)与核岭回归(KRR)通过核函数解决数据在原始空间线性不可分的问题。一种新型核函数(NTK)被提出用于拟合无限宽神经网络的训练过程,相关研究显示NTK利于处理小数据集。选取多... 详细信息

回归是常见的一类任务,两类特殊的回归模型:支持向量回归(SVR)与核岭回归(KRR)通过核函数解决数据在原始空间线性不可分的问题。一种新型核函数(NTK)被提出用于拟合无限宽神经网络的训练过程,相关研究显示NTK利于处理小数据集。选取多领域数据集在两种模型中比较NTK与常用核的性能,并对NTK进行了鲁棒性研究。结果表明NTK-SVR模型在部分数据集上取得了2.5%~20%的提升。

关键词：神经正切核核岭回归核函数支持向量回归小数据

在线全文

学校读者我要写书评

暂无评论

神经正切核K-Means聚类

计算机应用 2022年第11期42卷 3330-3336页

作者：王梅宋晓晖刘勇许传海东北石油大学计算机与信息技术学院黑龙江大庆163318 黑龙江省石油大数据与智能分析重点实验室(东北石油大学) 黑龙江大庆163318 中国人民大学高瓴人工智能学院北京100872 大数据管理与分析方法研究北京市重点实验室(中国人民大学) 北京100872

针对K‑Means聚类算法利用均值更新聚类中心,导致聚类结果受样本分布影响的问题,提出了神经正切核K‑Means聚类算法(NTKKM)。首先通过神经正切核(NTK)将输入空间的数据映射到高维特征空间,然后在高维特征空间中进行K‑Means聚类,并采用兼... 详细信息

针对K‑Means聚类算法利用均值更新聚类中心,导致聚类结果受样本分布影响的问题,提出了神经正切核K‑Means聚类算法(NTKKM)。首先通过神经正切核(NTK)将输入空间的数据映射到高维特征空间,然后在高维特征空间中进行K‑Means聚类,并采用兼顾簇间与簇内距离的方法更新聚类中心,最后得到聚类结果。在car和breast‑tissue数据集上,对NTKKM聚类算法的准确率、调整兰德系数(ARI)及FM指数这3个评价指标进行统计。实验结果表明,NTKKM聚类算法的聚类效果以及稳定性均优于K‑Means聚类算法和高斯核K‑Means聚类算法。NTKKM聚类算法与传统的K‑Means聚类算法相比,准确率分别提升了14.9%和9.4%,ARI分别提升了9.7%和18.0%,FM指数分别提升了12.0%和12.0%,验证了NTKKM聚类算法良好的聚类性能。

关键词：神经正切核 K‑Means 核聚类特征空间核函数

在线全文

学校读者我要写书评

暂无评论

神经正切核的应用：线性化神经网络

神经正切核的应用：线性化神经网络

作者：林信智南京大学

学位级别：硕士

神经网络模型在各种机器学习任务都表现出了优秀的性能,但由于结构的复杂性我们难以对其进行相关的理论分析。因此我们希望能找到神经网络的一种替代模型,它与神经网络模型有高度的近似性,并且比神经网络模型更容易分析。本文将利用神... 详细信息

神经网络模型在各种机器学习任务都表现出了优秀的性能,但由于结构的复杂性我们难以对其进行相关的理论分析。因此我们希望能找到神经网络的一种替代模型,它与神经网络模型有高度的近似性,并且比神经网络模型更容易分析。本文将利用神经正切核的相关性质为宽神经网络找到上述替代模型,该替代模型是神经网络在其初始参数附近作一阶泰勒展开得到的线性模型,它具有显式的表达式因此更容易进行理论分析。我们将先证明神经正切核在无限宽度极限下的收敛性,再利用其收敛性证明在无限宽度极限下神经网络模型和线性化模型的等价性,该等价性不仅体现在训练完的函数上,还体现在基于梯度下降的训练过程中。最后我们通过数值实验发现对于有限足够宽的神经网络,该等价性同样近似存在。

关键词：神经网络神经正切核梯度下降泰勒展开

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于神经正切核的多核学习方法

计算机应用 2021年第12期41卷 3462-3467页

作者：王梅许传海刘勇东北石油大学计算机与信息技术学院黑龙江大庆163318 黑龙江省石油大数据与智能分析重点实验室(东北石油大学) 黑龙江大庆163318 中国人民大学高瓴人工智能学院北京100872 大数据管理与分析方法研究北京市重点实验室(中国人民大学) 北京100872

多核学习方法是一类重要的核学习方法,但大多数多核学习方法存在如下问题:多核学习方法中的基核函数大多选择传统的具有浅层结构的核函数,在处理数据规模大且分布不平坦的问题时表示能力较弱;现有的多核学习方法的泛化误差收敛率大多为O... 详细信息

多核学习方法是一类重要的核学习方法,但大多数多核学习方法存在如下问题:多核学习方法中的基核函数大多选择传统的具有浅层结构的核函数,在处理数据规模大且分布不平坦的问题时表示能力较弱;现有的多核学习方法的泛化误差收敛率大多为O(1/√n),收敛速度较慢。为此,提出了一种基于神经正切核(NTK)的多核学习方法。首先,将具有深层次结构的NTK作为多核学习方法的基核函数,从而增强多核学习方法的表示能力。然后,根据主特征值比例度量证明了一种收敛速率可达O(1/n)的泛化误差界;在此基础上,结合核对齐度量设计了一种全新的多核学习算法。最后,在多个数据集上进行了实验,实验结果表明,相比Adaboost和K近邻(KNN)等分类算法,新提出的多核学习算法具有更高的准确率和更好的表示能力,也验证了所提方法的可行性与有效性。

关键词：机器学习多核学习神经正切核核对齐主特征值比例

在线全文

学校读者我要写书评

暂无评论

基于神经正切核的大规模多核学习方法研究

基于神经正切核的大规模多核学习方法研究

作者：许传海东北石油大学

学位级别：硕士

多核学习是一种流行且重要的核方法,其被广泛应用于各个领域。但大多数多核学习方法所采用的基核函数结构过于简单,在处理数据规模大且分布不均衡等问题时表示能力不足。确定完基核函数后,在多核学习方法中,基核权重计算也会对其性能产... 详细信息

多核学习是一种流行且重要的核方法,其被广泛应用于各个领域。但大多数多核学习方法所采用的基核函数结构过于简单,在处理数据规模大且分布不均衡等问题时表示能力不足。确定完基核函数后,在多核学习方法中,基核权重计算也会对其性能产生较大影响。传统计算基核权重的方法通常只衡量样本数据中基核函数的表达能力,考虑过于单一。此外,核矩阵在大规模数据集中计算成本很高,这使得多核学习难以被应用到大规模问题求解中。基于上面描述的问题,本文的研究工作主要是提升多核学习算法在大规模数据集上的性能和运行效率,工作内容主要体现在以下几个方面:(1)提出一种基于神经正切核的多核学习算法NTK-MKL。通过对有限宽和无限宽神经正切核进行理论和实验研究,证明了其相较于传统的基核函数有着更好的表现。然后使用神经正切核替代传统的基核函数(如多项式核、高斯核和线性核等)作为多核学习的基核函数,从而提升多核学习方法的表示能力。(2)提出一种基于主特征值比例和核目标对齐的多核学习算法PK-MKL。该算法通过计算NTK的主特征比例值和核目标对齐值,然后将二者进行组合形成一种新的度量标准,接着将求出的度量值作为NTK核的权重,进行多核组合。该算法对基核函数在样本数据上的表示能力和基核函数的复杂度同时进行考虑,可以有效的提高多核学习的性能。(3)提出一种基于NTKSketch的多核学习算法NS-MKL。该算法通过使用反余弦核特征映射的张量积,得到显式NTK特征图;然后通过对反余弦核的特征空间进行采样,得到了NTK的随机特征,减少NTK的特征数量。接着,使用张量草图算法来近似连续层中产生的特征的张量积,减少特征的维度,从而加快多核学习算法的运算效率。此外,将NS-MKL算法应用于油井压裂增油效果预测问题中,来验证算法的有效性和可行性。

关键词：多核学习主特征值比例核目标对齐神经正切核随机特征

基于NTK理论和改进时间因果的物理信息神经网络加速收敛算法

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

力学学报 2024年第7期56卷 1943-1958页

作者：潘小果王凯邓维鑫四川大学机械工程学院成都610065 中国空气动力研究与发展中心空天技术研究所四川绵阳621000

物理信息神经网络(physics-informed neural networks,PINNs)是一类将先验物理知识嵌入神经网络的方法,目前已经成为求解偏微分方程领域的研究热点.尽管PINNs在数值模拟方面展现出巨大的应用前景,但它仍然面临收敛缓慢的挑战.文章从神... 详细信息

物理信息神经网络(physics-informed neural networks,PINNs)是一类将先验物理知识嵌入神经网络的方法,目前已经成为求解偏微分方程领域的研究热点.尽管PINNs在数值模拟方面展现出巨大的应用前景,但它仍然面临收敛缓慢的挑战.文章从神经正切核(neural tangent kernel,NTK)理论出发,通过对单隐藏层神经网络模型进行分析,推出PINNs的神经正切核矩阵具体表达式,并以此进一步分析PINNs收敛速度的影响因素,给出PINNs快速收敛的两个必要条件.应用神经正切核理论分析PINNs领域的3种相关算法(时间因果算法、傅里叶特征嵌入、学习率退火)的加速收敛效果,结果表明这3种算法均不能满足PINNs加速收敛的所有必要条件.文章提出一种动态傅里叶特征嵌入时间因果算法(dynamic Fourier feature embedding causality,DFFEC),综合考虑了NTK矩阵特征值平衡和时间顺序收敛对PINNs收敛速度的影响,在AllenCahn,Reaction,Burgers和Advection等4个算例上的数值实验结果表明,所提出的DFFEC算法可以显著提高PINNs的收敛速度.特别是在Allen-Cahn算例上,与时间因果算法相比,所提出的DFFEC算法具有至少50倍的加速收敛效果.

关键词：物理信息神经网络收敛速度谱偏差神经正切核非定常流动

在线全文

学校读者我要写书评

暂无评论

基于排序融合的混合器特征选择

基于排序融合的混合器特征选择

作者：翟玥璟兰州交通大学

学位级别：硕士

特征选择从结果上来说完成了一个数据降维任务,其原理是从初始特征中保留部分最有效特征来替代原始数据参与后续任务。更少的特征意味着更低的计算复杂度,因此特征选择逐渐作为重要的数据预处理方法而被频繁使用,在冗余特征被剔除后,也... 详细信息

特征选择从结果上来说完成了一个数据降维任务,其原理是从初始特征中保留部分最有效特征来替代原始数据参与后续任务。更少的特征意味着更低的计算复杂度,因此特征选择逐渐作为重要的数据预处理方法而被频繁使用,在冗余特征被剔除后,也有提高模型性能的能力。为了完成筛选出最具代表性特征子空间的任务,大概有三种途径:封装器(Wrapper)、过滤器(Filter)和混合器(Embedded/Mixer)。在已有的研究基础上,针对目前算法存在的精度低等问题,模型与数据存在的不适用现状,提出基于神经正切核-支持向量机(NTK-SVM)模型的排序融合框架对现有特征选择算法进行优化。现有的大部分特征选择研究都基于单一的算法,其往往无法全面评价数据子集的优劣,其通常从不同侧面反映子集的好坏(比如信息增益率偏好特征数量少的子集等),因此并行利用多准则进行评价,借助信息融合技术实现客观有效的特征选择性融合:对常用的6种特征选择算法(Relief、Extra Tree、卡方等)进行对比实验,在进行模型融合时选择不同的方法(权重),分别构建了1维至6维共计63个特征选择模型,在生物、工业、医疗等多领域数据集中进行试验,以期筛选出精度最高的组合;同时在排序融合的步骤中,将常用的融合算法(线性求和、取前)结合,提出了新的排序融合规则,使算法更加严谨。优化特征选择方法,不仅对降低生物、环境、社科等多种领域中分类与回归任务的复杂度至关重要,还能去除冗余信息,提高分类性能。本研究选择了NTK-SVM作为机器学习方法,NTK由无限宽的神经网络演化而来,那么网络的结构(网络深度)是否会对核函数的性能产生影响是一个必须考虑的问题,从UCI数据集中选择了多个数据集并在不同的深度下分别测试了NTK-SVM的参数鲁棒性。同时可视化并对比了各个核函数在不同模型中的计算时间复杂度,同时利用不同数据集进行横向对比,试图为支持向量机的训练与预测阶段的计算复杂度理论进行补充。从实验结果可以看出,所提NTK-SVM混合器模型能够提高计算性能,以及计算精度,在63个模型中,平均精度最高的模型为互信息-随机森林-NTK模型,同时在较高纬度数据集的降维任务中,特征提取取得了比特征选择更优秀的性能,且NTK模型的超参数对实验的复杂度会有较大影响。

关键词：特征选择神经正切核混合器支持向量机

傅里叶特征与MLP相结合的地震图像增强算法研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

傅里叶特征与MLP相结合的地震图像增强算法研究

作者：赵静宇西安石油大学

学位级别：硕士

地震图像能够将地震数据可视化,在二维空间上显示地震剖面或断层等信息,地震图像较地震数据而言,能够更加直观地分析所关心的区域。地震图像的清晰程度对地震资料解释的结果有极大的影响,但是地震数据在采集、传输以及接收的过程中会受... 详细信息

地震图像能够将地震数据可视化,在二维空间上显示地震剖面或断层等信息,地震图像较地震数据而言,能够更加直观地分析所关心的区域。地震图像的清晰程度对地震资料解释的结果有极大的影响,但是地震数据在采集、传输以及接收的过程中会受到不可控的因素,导致由地震数据生成的地震图像质量较低。因此,对地震图像进行图像增强处理能够为地震资料提供更加清晰的地质信息。为提高地震图像的质量,本文提出的单幅图像超分辨的图像增强算法,使用基于坐标的MLP更容易进行梯度的优化和机器学习,并且比网格采样方式表示数量级更紧凑。具体的研究内容如下:(1)通过神经正切核理论和实践表明,基于坐标的标准MLP对应于具有快速频率衰减的核,在单一用于处理图像时无法学习到高频分量。为了克服这种谱分量偏差现象,本文将图像下采样的像素坐标经过傅里叶特征映射预处理得到各频率分量特征,通过MLP训练学习,输出对应像素的RGB值,再对剩余像素进行误差计算,从而能够预测高分辨率图像。通过调节傅里叶特征尺度,能够将神经正切核转换为可调频谱宽度的平稳内核,使网络能够学习到高频分量。进一步比较不同傅里叶特征尺度取值时图像超分辨效果,实验表明,当傅里叶特征尺度取值为10时,图像质量的PSNR值达到了最高。(2)本文所使用的傅里叶特征中,傅里叶基底的每个元素是从单高斯分布中采样取值,即每个频谱系数都符合单高斯分布的概率分布。单高斯分布模型难以描述具有复杂结构的数据集,因此本文提出傅里叶特征尺度服从多高斯分布的傅里叶基底算法,由单高斯采样改进为多高斯分布采样,以此来丰富频谱系数,保证网络学习到更多的图像细节信息。此外,为进一步增强地震图像超分辨后的细节信息,本文提出一种将注意力机制融入傅里叶特征网络,通过预处理得到频率分量特征,利用注意力机制适当捕捉局部跨通道交互信息,为不同频率分量特征分配不同的权重,提高网络的特征提取能力。(3)通过消融实验与几种经典的图像超分辨算法进行对比,验证了改进算法的合理性和有效性。经实际验证表明,利用本文所提出的算法处理后的地震图像质量,在视觉效果、峰值信噪比以及结构相似性方面均获得了较好的结果。

关键词：地震图像傅里叶特征隐式神经表示图像超分辨神经正切核

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于特征的药物-靶点相互作用关系预测

基于特征的药物-靶点相互作用关系预测

作者：王雨哈尔滨商业大学

学位级别：硕士

随着人工智能的兴起,利用机器学习的方法研发药物能够很大程度上节省开支和时间。研发药物是一个复杂而漫长的过程,通常需要耗费数年甚至更长时间进行研究和开发。并且研发药物需要大量的投资和资源支持,同时也需要具备专业知识、技术... 详细信息

随着人工智能的兴起,利用机器学习的方法研发药物能够很大程度上节省开支和时间。研发药物是一个复杂而漫长的过程,通常需要耗费数年甚至更长时间进行研究和开发。并且研发药物需要大量的投资和资源支持,同时也需要具备专业知识、技术、人才等要素。预测药物-靶点间相互作用是药物研发过程中很重要的一个环节。因此,研究人员迫切需要准确快速的预测药物-靶点间相互作用,利用机器学习的方法开发有效的药物,去克服这些缺点。本文建立了两种基于特征选择的矩阵分解模型预测药物-靶点间相互作用,主要研究内容为:首先提出了一种基于多视图邻域正则化逻辑矩阵分解的预测方法。利用药物和靶点空间中的多视图信息,构建对应的特征相似性矩阵。根据特征相似矩阵得到相应的拉普拉斯矩阵,并分别在药物和靶点空间中将拉普拉斯矩阵融合,作为矩阵分解的条件。改进了单一特征可能会导致信息不全的缺点。从实验的结果可以看出,本文提出的多视图融合的方法在预测药物-靶点间相互作用具有良好的性能。其次提出了一种利用神经正切核提取特征的邻域正则化逻辑矩阵分解的方法。利用了深度学习模型能够自动提取特征这一优点。改进了传统机器学习人工选择特征可能会导致的关键信息丢失问题。利用深度学习模型神经正切核提取药物和靶点的特征矩阵,以优化药物-靶点间相互作用的预测。从实验的结果可以看出,本文提出的神经正切核模型提取的特征要明显优于手工选择特征,且有着更高的竞争性。此外,本文还通过分析模型预测新的药物靶点间相互作用的能力,进一步的验证了该方法的有效性

关键词：特征选择矩阵分解多视图融合神经正切核药物靶点间相互作用