检索结果-南通市图书馆

随机傅里叶特征空间中高斯核支持向量机模型选择

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

计算机研究与发展 2016年第9期53卷 1971-1978页

作者：冯昌廖士中天津大学计算机科学与技术学院天津300350

模型选择是支持向量机(support vector machines,SVMs)学习的关键问题.标准支持向量机学习本质上是求解一个凸二次优化问题,求解的时间复杂度为数据规模的立方级,而经典的模型选择方法往往需要多次训练支持向量机,这种模型选择方法对于... 详细信息

模型选择是支持向量机(support vector machines,SVMs)学习的关键问题.标准支持向量机学习本质上是求解一个凸二次优化问题,求解的时间复杂度为数据规模的立方级,而经典的模型选择方法往往需要多次训练支持向量机,这种模型选择方法对于中等规模的支持向量机学习计算代价已较高,更难以扩展到大规模支持向量机学习.基于高斯核函数的随机傅里叶特征近似,提出一种新的、高效的核支持向量机模型选择方法.首先,利用随机傅里叶特征映射,将无限维隐式特征空间嵌入到一个相对低维的显式随机特征空间,并推导在2个不同的特征空间中分别训练支持向量机所得到的模型的误差上界;然后,以模型误差上界为理论保证,提出随机特征空间中核支持向量机的模型选择方法,应用随机特征空间中的线性支持向量机来逼近核支持向量机,计算模型选择准则的近似值,从而评价所对应的核支持向量机的相对优劣;最后,在标杆数据集上验证所提出方法的可行性和高效性.实验结果表明,所提出的模型选择方法与标准交叉验证方法的测试精度基本相当,但可显著地提高核支持向量机模型选择效率.

关键词：模型选择支持向量机随机傅里叶特征高斯核交叉验证

在线全文

学校读者我要写书评

暂无评论

正则化路径上三步式SVM贝叶斯组合

计算机研究与发展 2013年第9期50卷 1855-1864页

作者：王梅廖士中天津大学计算机科学与技术学院天津300072 东北石油大学计算机与信息技术学院黑龙江大庆163318

模型组合旨在整合并利用假设空间中多个模型提高学习系统的稳定性和泛化性.针对支持向量机(support vector machine,SVM)模型组合多采用基于样本采样方法构造候选模型集的现状,研究基于正则化路径的SVM模型组合.首先证明SVM模型组合Lh-... 详细信息

模型组合旨在整合并利用假设空间中多个模型提高学习系统的稳定性和泛化性.针对支持向量机(support vector machine,SVM)模型组合多采用基于样本采样方法构造候选模型集的现状,研究基于正则化路径的SVM模型组合.首先证明SVM模型组合Lh-风险一致性,给出SVM模型组合基于样本的合理性解释.然后提出正则化路径上的三步式SVM贝叶斯组合方法.利用SVM正则化路径分段线性性质构建初始模型集,并应用平均广义近似交叉验证(generalized approximate cross-validation,GACV)模型集修剪策略获得候选模型集.测试或预测阶段,应用最小近邻法确定输入敏感的最终组合模型集,并实现贝叶斯组合预测.与基于样本采样方法不同,三步式SVM贝叶斯组合方法基于正则化路径在整个样本集上构造模型集,训练过程易于实现,计算效率较高.模型集修剪策略可减小模型集规模,提高计算效率和预测性能.实验结果验证了正则化路径上三步式SVM模型组合的有效性.

关键词：模型组合正则化路径支持向量机一致性贝叶斯组合

在线全文

学校读者我要写书评

暂无评论

基于正则化路径的支持向量机近似模型选择

计算机研究与发展 2012年第6期49卷 1248-1255页

作者：丁立中廖士中天津大学计算机科学与技术学院天津300072

模型选择问题是支持向量机的基本问题.基于核矩阵近似计算和正则化路径,提出一个新的支持向量机模型选择方法.首先,发展初步的近似模型选择理论,包括给出核矩阵近似算法KMA-α,证明KMA-α的近似误差界定理,进而得到支持向量机的模型近... 详细信息

模型选择问题是支持向量机的基本问题.基于核矩阵近似计算和正则化路径,提出一个新的支持向量机模型选择方法.首先,发展初步的近似模型选择理论,包括给出核矩阵近似算法KMA-α,证明KMA-α的近似误差界定理,进而得到支持向量机的模型近似误差界.然后,提出近似模型选择算法AMSRP.该算法应用KMA-α计算的核矩阵的低秩近似来提高支持向量机求解的效率,同时应用正则化路径算法来提高惩罚因子C参数调节的效率.最后,通过标准数据集上的对比实验,验证了AMSRP的可行性和计算效率.实验结果显示,AMSRP可在保证测试集准确率的前提下,显著地提高支持向量机模型选择的效率.理论分析与实验结果表明,AMSRP是一合理、高效的模型选择算法.

关键词：模型选择参数调节支持向量机矩阵近似计算正则化路径

KMA-α:一个支持向量机核矩阵的近似计算算法

在线全文

学校读者我要写书评

暂无评论

计算机研究与发展 2012年第4期49卷 746-753页

作者：丁立中廖士中天津大学计算机科学与技术学院天津300072

核矩阵计算是求解支持向量机的关键,已有精确计算方法难以处理大规模的样本数据.为此,研究核矩阵的近似计算方法.首先,借助支持向量机的凸二次约束线性规划表示,给出支持向量机和多核支持向量机的二阶锥规划表示.然后,综合Monte Carlo... 详细信息

核矩阵计算是求解支持向量机的关键,已有精确计算方法难以处理大规模的样本数据.为此,研究核矩阵的近似计算方法.首先,借助支持向量机的凸二次约束线性规划表示,给出支持向量机和多核支持向量机的二阶锥规划表示.然后,综合Monte Carlo方法和不完全Cholesky分解方法,提出一个新的核矩阵近似算法KMA-α,该算法首先对核矩阵进行Monte Carlo随机采样,采样后不直接进行奇异值分解,而是应用具有对称置换的不完全Cholesky分解来计算接近最优的低秩近似.以KMA-α输出的近似核矩阵作为支持向量机的输入,可提高支持向量机二阶锥规划求解的效率.进一步,分析了KMA-α的算法复杂性,证明了KMA-α的近似误差界定理.最后,通过标准数据集上的实验,验证了KMA-α的合理性和计算效率.理论分析与实验结果表明,KMA-α是一合理、有效的核矩阵近似算法.

关键词：支持向量机核方法二阶锥规划矩阵近似计算 Cholesky分解

在线全文

学校读者我要写书评

暂无评论

基于耦合度的高斯均值场归一化结构选择算法

计算机研究与发展 2010年第9期47卷 1497-1503页

作者：陈亚瑞廖士中天津大学计算机科学与技术学院

高斯Markov随机场是具有Markov性质、符合多元高斯分布的概率模型.高斯均值场是高斯Markov随机场模型上一种基本的变分推理方法,该方法通过引入基于变量簇分解的自由分布进行变分转换,计算出目标函数的下界.自由分布结构选择是变分推理... 详细信息

高斯Markov随机场是具有Markov性质、符合多元高斯分布的概率模型.高斯均值场是高斯Markov随机场模型上一种基本的变分推理方法,该方法通过引入基于变量簇分解的自由分布进行变分转换,计算出目标函数的下界.自由分布结构选择是变分推理的重要步骤,也是折中变分精度与计算复杂性的关键.提出了一个新的结构选择标准,并设计了一个结构选择算法.首先,在高斯Markov随机场上定义了耦合度和类耦合度概念来度量变量簇间的依赖关系,证明了高斯均值场的耦合度-精度定理,并进一步给出了类耦合度结构选择指标;然后,结合类耦合度指标和变量簇归一化技术,设计了一个高斯均值场结构选择算法;通过对比实验验证了算法的有效性.

关键词：概率推理变分推理高斯Markov随机场高斯均值场结构选择

在线全文

学校读者我要写书评

暂无评论

统一框架下在线核选择的竞争性分析

计算机科学与探索 2020年第7期14卷 1126-1132页

作者：廖芸张骁廖士中天津大学智能与计算学部天津300350

在线核选择旨在给出在线核学习每回合的最优核,是在线核学习的基础性和关键性问题。在线核选择问题可归约为专家建议框架问题,其中专家集对应候选核集;每回合,根据专家的权重及专家的建议给出预测结果,并更新专家的权重。基于这一归约,... 详细信息

在线核选择旨在给出在线核学习每回合的最优核,是在线核学习的基础性和关键性问题。在线核选择问题可归约为专家建议框架问题,其中专家集对应候选核集;每回合,根据专家的权重及专家的建议给出预测结果,并更新专家的权重。基于这一归约,在改进已有后悔界的同时,提出期望在线核选择的概念,并应用专家建议框架与度量任务系统的统一框架,给出期望在线核选择问题的后悔界和竞争比,并证明该竞争比在损失拓展情况下是稳定的。最后,给出结合在线核学习方法的竞争比。该项工作全面推广了在线核选择的概念,在统一框架下,不仅可以得到亚线性后悔界,同时也能得到较强的竞争比,为在线核选择研究开辟了新的途径。

关键词：竞争性分析在线核选择专家建议框架度量任务系统统一框架

在线全文

学校读者我要写书评

暂无评论

并行效率敏感的大规模SVM数据分块数选择

数据采集与处理 2018年第6期33卷 1068-1076页

作者：张闯廖士中天津大学计算机科学与技术学院天津300350

数据分块数的选择是并行/分布式机器学习模型选择的基本问题之一,直接影响着机器学习算法的泛化性和运行效率。现有并行/分布式机器学习方法往往根据经验或处理器个数来选择数据分块数,没有明确的数据分块数选择准则。提出一个并行效率... 详细信息

数据分块数的选择是并行/分布式机器学习模型选择的基本问题之一,直接影响着机器学习算法的泛化性和运行效率。现有并行/分布式机器学习方法往往根据经验或处理器个数来选择数据分块数,没有明确的数据分块数选择准则。提出一个并行效率敏感的并行/分布式机器学习数据分块数选择准则,该准则可在保证并行/分布式机器学习模型测试精度的情况下,提高计算效率。首先推导并行/分布式机器学习模型的泛化误差与分块数目的关系。然后以此为基础,提出折衷泛化性与并行效率的数据分块数选择准则。最后,在ADMM框架下随机傅里叶特征空间中,给出采用该数据分块数选择准则的大规模支持向量机实现方案,并在高性能计算集群和大规模标准数据集上对所提出的数据分块数选择准则的有效性进行实验验证。

关键词：大规模支持向量机模型选择数据分块交替方向乘子法随机傅里叶特征

在线全文

学校读者我要写书评

暂无评论

高斯核选择的线性性质检测方法

模式识别与人工智能 2017年第9期30卷 815-821页

作者：韩志卓廖士中天津大学计算机科学与技术学院天津300350

核选择直接影响核方法的性能.已有高斯核选择方法的计算复杂度为Ω(n2),阻碍大规模核方法的发展.文中提出高斯核选择的线性性质检测方法,不同于传统核选择方法,询问复杂度为O(ln(1/δ)/2),计算复杂度独立于样本规模.文中首先给出函数... 详细信息

核选择直接影响核方法的性能.已有高斯核选择方法的计算复杂度为Ω(n2),阻碍大规模核方法的发展.文中提出高斯核选择的线性性质检测方法,不同于传统核选择方法,询问复杂度为O(ln(1/δ)/2),计算复杂度独立于样本规模.文中首先给出函数线性水平的定义,证明可使用线性水平近似度量一个函数与线性函数类之间的距离,并以此为基础提出高斯核选择的线性性质检测准则.然后应用该准则,在随机傅里叶特征空间中有效评价并选择高斯核.理论分析与实验表明,应用性质检测以实现高斯核选择的方法有效可行.

关键词：高斯核选择线性性质检测随机傅里叶特征询问复杂度

在线全文

学校读者我要写书评

暂无评论

基于积分算子空间显式描述的框架核选择方法

中国科学：信息科学 2016年第2期46卷 165-178页

作者：刘勇廖士中天津大学计算机科学与技术学院天津300072

积分算子特征值在核方法 (kernel methods)学习理论分析中有重要作用.但对于大多数常用核函数,分析其积分算子特征值十分困难.针对该问题,提出了一种基于积分算子空间显式描述的框架核选择方法.首先,基于框架理论(frame theory)提出一... 详细信息

积分算子特征值在核方法 (kernel methods)学习理论分析中有重要作用.但对于大多数常用核函数,分析其积分算子特征值十分困难.针对该问题,提出了一种基于积分算子空间显式描述的框架核选择方法.首先,基于框架理论(frame theory)提出一种新的框架核构造方法,该框架核能结合框架表示与核方法的优点.然后,显式描述框架核函数对应积分算子的特征值与特征函数,并构造其对应的再生核希尔伯特空间(reproducing kernel Hilbert space,RKHS)和特征映射(feature mapping),由此精确刻画核方法解的结构,增强核方法模型可解释性.在此基础上,基于框架核所对应的积分算子特征值推导具有O(1m)收敛率的泛化误差界,而经典的Rademacher和半径间隔(radius-margin)泛化误差界的收敛率为O(1√m),m为样本规模.应用该泛化误差界,提出基于积分算子特征值的框架核选择方法,并将其形式化为易处理的凸优化问题,可利用随机次梯度(stochastic sub-gradient)算法高效求解.最后,实验验证所提方法的精确性与有效性.理论分析与实验结果表明,所提出的基于积分算子特征值的框架核选择方法是合理且高效的.

关键词：框架理论框架核模型选择核选择积分算子特征值