检索结果-南通市图书馆

计算机学报 2024年

作者：刘朗麒张利军南京大学计算机软件新技术全国重点实验室南京大学人工智能学院

普适在线凸优化算法能够自动适应多类损失函数并进行优化，这使得用户无须自行判别损失函数的类型，降低了在线凸优化技术的使用门槛。虽然现有的普适算法对于多类损失函数的理论保障均达到极小极大最优，但是它们难以针对一般凸函数获... 详细信息

普适在线凸优化算法能够自动适应多类损失函数并进行优化，这使得用户无须自行判别损失函数的类型，降低了在线凸优化技术的使用门槛。虽然现有的普适算法对于多类损失函数的理论保障均达到极小极大最优，但是它们难以针对一般凸函数获得问题相关的理论保障。为解决该问题，本文提出的UAGV算法不仅能够自动适应一般凸与强凸的损失函数，同时首次在平滑条件下对于一般凸损失函数保障了梯度变化界，即能够在损失函数梯度变化缓慢时取得更好的性能。算法整体采用元算法-专家算法的二层结构，在顶层我们创新性地采用具有乐观项的元算法，并针对梯度变化界的形式设计替代损失函数与乐观项，使得其在结合底层专家算法时能够获得相应保障。在多个数据集上的实验结果表明，UAGV算法对于平滑一般凸函数产生的遗憾整体小于现有普适算法，在部分数据集上遗憾减小的幅度超过14%。

关键词：在线凸优化普适算法平滑梯度变化问题相关界乐观项

来源：

同方期刊数据库评论

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

普适且最优的在线凸优化算法

普适且最优的在线凸优化算法

引用

作者：王广辉南京大学

学位级别：硕士

随着大数据时代的到来,如何从庞大的数据集中挖掘有用信息已经成为了一个亟待解决的社会难题。在线凸优化是一种计算高效且具备理论保障的通用学习范式,能够赋予机器学习算法自动更新、实时反馈的能力,因此适用于处理迅速增长的大规模... 详细信息

随着大数据时代的到来,如何从庞大的数据集中挖掘有用信息已经成为了一个亟待解决的社会难题。在线凸优化是一种计算高效且具备理论保障的通用学习范式,能够赋予机器学习算法自动更新、实时反馈的能力,因此适用于处理迅速增长的大规模数据。然而,传统在线凸优化算法通常只能处理如凸、指数凹或强凸等某一种类型的损失函数。为解决这个问题,研究者提出了可以通用地处理多类损失函数的普适算法。但是,现有最优普适算法在处理强凸函数时只能实现次优的遗憾界,且不支持平滑函数。本文主要研究如何提升现有普适算法的理论保障,同时扩大普适算法的适用范围,取得了以下进展:第一,为提升普适算法的理论保障,本文提出多专家学习率算法Maler。Maler遵循专家学习框架,维持一个两层层级结构:在底层,运行多种在线凸优化算法作为专家;在顶层,利用一个元算法基于历史数据动态追踪最优专家。为处理强凸函数,Maler引入了一种新型替代损失以提高优化效果。理论分析表明,Maler能同时处理凸、指数凹和强凸三种类型的函数,并可分别实现O((?)),O(dlogT)和O(logT)的极大极小最优遗憾界,其中T为迭代次数,d表示数据维度。相比于现有最优普适算法,Maler将处理强凸函数的理论保障提升了d倍,实现了更紧的遗憾界。这一结论也解决了一个开放问题,表明最优和普适可以同时实现。第二,为进一步扩展普适算法的适用范围,本文提出普适在线平滑优化算法UFO。UFO遵循与Maler相似的学习框架,同时引入专门为平滑函数设计的替代损失和新型专家算法来自动利用平滑性提升算法性能。理论分析证明,对于凸、指数凹和强凸函数,UFO可实现与Maler相同的极大极小最优遗憾界;而当函数同时具有平滑性时,UFO可分别实现O((?)),O(dlogL)和O(logL)的小损失遗憾界,其中L表示最优决策的累计损失。这样,当L较小时,遗憾界会自动变得比极大极小最优界更紧。注意到,UFO是首个对平滑强凸函数实现O(logL)遗憾界的算法,这一结果与现有最优理论保障相比提升了 d倍。

关键词：在线凸优化普适算法平滑性

来源：

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

求积公式在平均误差情形下的饱和性

引用

重庆师范大学学报（自然科学版） 2014年第6期31卷 73-76页

作者：齐宗会天津商业大学宝德学院天津300384

本文讨论了在Wiener空间下的最优求积公式在r-重积分Wiener空间下的平均误差,得到了相应量的值或强渐近阶,结果证明该求积公式在平均误差情形下具有饱和性。本文的结果说明了此求积公式虽对Wiener空间是最优的,但对1-重积分Wiener空间... 详细信息

本文讨论了在Wiener空间下的最优求积公式在r-重积分Wiener空间下的平均误差,得到了相应量的值或强渐近阶,结果证明该求积公式在平均误差情形下具有饱和性。本文的结果说明了此求积公式虽对Wiener空间是最优的,但对1-重积分Wiener空间仅仅是阶最优的,而当r≥2时,此求积公式在r-重积分Wiener空间下没有任何最优性。因此,对于计算具有不同光滑性的函数的积分而言,此积分公式不是普适算法。

关键词：平均误差求积公式 r-重积分 Wiener空间普适算法

来源：

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

欢迎您,

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

在线全文

在线全文

请选择保存的检索档案：

请选择收藏分类：

通借通还

欢迎您,

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

在线全文

在线全文

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：