检索结果-南通市图书馆

在线全文

学校读者我要写书评

暂无评论

求解高维优化问题的新型平衡优化器算法

小型微型计算机系统 2023年第5期44卷 969-973页

作者：申元霞汪小燕张学锋安徽工业大学计算机科学与技术学院安徽马鞍山243000

针对标准平衡优化器求解高维优化问题时出现的进化停滞现象,本文首先通过对标准平衡优化器中学习参数的函数特征分析,给出了可能导致进化停滞的原因.接着在分析结论基础上提出一种改进的平衡优化器算法.新算法中设计了自适应的生存概率... 详细信息

针对标准平衡优化器求解高维优化问题时出现的进化停滞现象,本文首先通过对标准平衡优化器中学习参数的函数特征分析,给出了可能导致进化停滞的原因.接着在分析结论基础上提出一种改进的平衡优化器算法.新算法中设计了自适应的生存概率来增强群体在进化后期探索的机会;为了避免平衡池中候选解同质化,对候选解以概率实施自我学习策略,不仅可以提高群体的收敛速度,而且有效防止群体早期收敛;同时还设计了混合反向学习策略,群体中部分个体按混合反向学习策略实施更新,以增强群体的全局搜索能力,帮助种群逃离局部最优.将提出的算法与新型群智能算法在200维和500维数据条件下进行对比实验,实验结果表明改进的平衡优化算法可以避免陷入进化停滞,展现了良好的全局优化能力.

关键词：平衡优化器高维优化进化停滞反向学习全局优化

自适应张量网络表示在高维优化问题中的理论和应用研究

同方期刊数据库博看期刊评论

在线全文

学校读者我要写书评

暂无评论

自适应张量网络表示在高维优化问题中的理论和应用研究

作者：聂畅南京理工大学

学位级别：硕士

信息技术的蓬勃发展让基于多路数组或高阶张量形式存储的大规模、多模态数据广泛存在于科学与工程领域。在该背景下,许多针对高阶张量数据的分析方法产生了极大的研究价值,并广泛地应用到信号处理、数值仿真、计算机视觉等问题当中。近... 详细信息

信息技术的蓬勃发展让基于多路数组或高阶张量形式存储的大规模、多模态数据广泛存在于科学与工程领域。在该背景下,许多针对高阶张量数据的分析方法产生了极大的研究价值,并广泛地应用到信号处理、数值仿真、计算机视觉等问题当中。近年来,一个起源于量子物理领域的工具张量网络,在机器学习领域被许多学者用于数据的分解表示和高阶优化问题求解。张量网络的本质是以图形化的方式表达结构化数据和复杂的代数运算,能将高阶张量表示为多个低阶潜在因子的缩并形式。相对于许多固定结构的分解方法,张量网络表示更加灵活多样,且在大规模和数据模式不平衡场景下表现出更强的可扩展性和鲁棒性。本文以高阶数据的自适应分解表示为研究背景,从模型理论和应用问题优化两方面进行了深入的探索和研究,主要工作内容概括如下:(1)本文提出自适应张量网络表示方法,并分析其模型理论和在高维优化问题中的应用。先进的张量网络模型仅探索了固定的分解结构,忽略了数据模式相关性与局部结构对应关系而导致对维度置换操作的敏感性(如Tensor Ring模型)。本文借助全连接张量网络分解表示,将分解结构搜索该离散优化问题转化为局部因子的连接,进而设计广义张量秩来度量不同模式之间的内在关联,并在模型层面上完成数据的自适应表示。该方法可以为分解因子自适应的建立不同强度的连接或运算,从而在有限的参数和计算约束下实现结构损失最小化。在理论层面上,分析了模型结构上的数学性质,如置换不变性和网络收缩复杂度,并在分解形式上建立相应的基础多线性代数运算和将矩阵Schatten-p范数推广到高阶形式。最后在五类高维优化问题中证实了自适应表示模型的优越性。(2)本文提出多张量网络表示模型,更好的平衡了张量收缩复杂度和模型的表达能力。对于具有密集拓扑结构的张量网络表示,其在计算和存储的复杂度上随数据阶指数增长,这限制了它们在高阶场景的可扩展性。本文考虑将高维数据解耦为多个低秩成分的和,且认为每个低秩分量可分解为有限个低阶因子的运算形式并自然的对应于某个具有简单结构的张量网络。这种表示策略一般化了一大类的张量分解方法,同时每个子网络的拓扑结构都是在优化过程中自动生成的,并给出多张量网络表示与低秩成分之间的结构转变关系。该模型被应用于经典的张量补全任务,并开发了两种迭代式优化算法。在合成与真实数据上的数值实验表明该模型比一般张量分解算法具有更强的表示能力和可扩展性。(3)本文基于张量网络表示提出可扩展神经网络学习框架。张量分解已广泛的应用于神经网络压缩任务,为过参数化的深度神经网络学习紧凑的表征,但在实践中通常会导致不可忽视的性能下降。考虑到不同的网络层表现出多样的低秩结构,使用单个固定的分解模型对所有网络层分解是不适用的。本文针对神经网络压缩问题构建了一个新的压缩框架,在避免原始网络的表达能力降低的情况下,构建一个更紧凑的和灵活的表示。在训练期间,为网络参数引入合适的正则项以降低后续的分解误差,并将网络训练转化为结构约束问题的迭代优化过程。在分解和推理时,使用张量网络表示动态调整模型的大小,让网络无需微调即可保持较高的性能。在多个流行的网络架构和基准上进行的综合实验证实了该框架的可扩展性。概括来讲,本文为高阶张量数据的自适应分解进行了综合性的研究,包括建立结构学习的启发式算法、数学性质分析和相关应用研究。最后在多个合成和真实数据集上验证方法的有效性。

关键词：张量网络张量分解神经网络压缩高维优化数据补全自适应分解

一种基于多层设计空间缩减策略的近似高维优化方法

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

西北工业大学学报 2021年第2期39卷 292-301页

作者：叶鹏程王聪聪潘光西北工业大学航海学院陕西西安710072 西北工业大学无人水下运载技术重点实验室陕西西安710072 中国航空工业集团公司洛阳电光设备研究所河南洛阳471000

针对高维昂贵黑箱问题(high-dimensional expensive black-box,HEB)处理过程中工程模型复杂、计算量大的难题,提出一种基于多层设计空间缩减策略的近似高维优化方法(hierarchical design space reduction strategy based approximate high-dimensional optimization method,HSRAHO)。利用3种经典代理模型:多项式响应面模型、径向基函数模型和克里金模型,使用基于预测均方根误差权重因子优化方法计算获得各代理模型权系数,通过加权叠加构建组合代理模型,替代实际高维黑箱模型。使用多层设计空间缩减策略根据已知信息确定设计子空间,并在其内部确定有效样本点,逐步提高组合代理模型在感兴趣区域的预测精度,直至优化收敛。将提出的近似高维优化方法HSRAHO应用于标准优化函数和翼型设计优化问题,测试结果验证了该方法在高维优化效率和全局收敛性方面的优势。

关键词：高维昂贵黑箱问题高维优化多层设计空间缩减策略组合代理模型

在线全文

学校读者我要写书评

暂无评论

高维优化问题的多策略云差分进化算法

计算机工程与设计 2018年第9期39卷 2792-2799页

作者：袁斯昊邓长寿董小刚范德斌殷超九江学院信息科学与技术学院江西九江332005

针对传统差分进化算法在求解高维优化问题时,耗时长、精度不高的问题,提出一种基于多种群机制的混合策略的云差分进化算法。将种群划分成若干子种群,各子种群采用不同的策略并行进化;种群进化若干代数后,按拓扑结构进行个体迁移,增加多... 详细信息

针对传统差分进化算法在求解高维优化问题时,耗时长、精度不高的问题,提出一种基于多种群机制的混合策略的云差分进化算法。将种群划分成若干子种群,各子种群采用不同的策略并行进化;种群进化若干代数后,按拓扑结构进行个体迁移,增加多样性,提高寻优机率。利用MapReduce模型,将子种群分发到集群上并行,提高求解速度。仿真结果表明,该算法在求解1000维的13个优化问题时,能取得较好的精度,提高求解效率。

关键词：差分进化高维优化多种群多策略云计算

在线全文

学校读者我要写书评

暂无评论

用群体启发进化规划求解高维优化问题

吉林大学学报（理学版） 2005年第5期43卷 622-626页

作者：窦全胜周春光徐中宇潘冠宇山东工商学院信息与电子工程学院山东省烟台264005 吉林大学计算机科学与技术学院长春130012 长春工业大学计算机科学与工程学院长春130012

提出一种新的进化规划方法,群体启发进化规划(PHEP),在进化过程中,通过控制群体的4个参数,把握群体中个体分布情况,并通过这些信息有效地调整个体的变异步长,克服了传统EP方法变异步长修正的盲目性.将PHEP方法应用于高维优化问题,实验... 详细信息

提出一种新的进化规划方法,群体启发进化规划(PHEP),在进化过程中,通过控制群体的4个参数,把握群体中个体分布情况,并通过这些信息有效地调整个体的变异步长,克服了传统EP方法变异步长修正的盲目性.将PHEP方法应用于高维优化问题,实验结果表明,PHEP方法在高维条件下的性能明显优于其他EP方法.

关键词：进化规划高维优化群体

在线全文

学校读者我要写书评

暂无评论

解决高维优化问题的差分进化算法

计算机应用 2014年第1期34卷 179-181页

作者：王旭赵曙光东华大学信息科学与技术学院上海201620

针对高维优化问题难以解决并且优化耗费时间长的问题,提出了一种解决高维优化问题的差分进化算法。将协同进化思想引入到差分进化领域,采用一种由状态观测器和随机分组策略组成的协同进化方案。其中,状态观测器根据搜索状态反馈信息适... 详细信息

针对高维优化问题难以解决并且优化耗费时间长的问题,提出了一种解决高维优化问题的差分进化算法。将协同进化思想引入到差分进化领域,采用一种由状态观测器和随机分组策略组成的协同进化方案。其中,状态观测器根据搜索状态反馈信息适时地调用随机分组策略重新分组;随机分组策略将高维优化问题分解为若干较低维的子问题,而后分别进化。该方案有效地增强了算法解决高维优化问题的搜索速度和搜索能力。经典型的实例测试,并与其他一流差分进化算法比较,实验结果表明:所提算法能有效地求解不同类型的高维优化问题,在搜索速度方面有明显提升,尤其对可分解的高维优化问题极具竞争力。

关键词：进化算法差分进化协同进化分组高维优化

在线全文

学校读者我要写书评

暂无评论

改进细菌觅食算法在高维优化问题中的应用

计算机科学 2017年第4期44卷 269-274,311页

作者：李珺党建武兰州交通大学电子与信息工程学院兰州730070

针对以往细菌觅食优化算法自适应步长公式经验性参数过多、无法真正实现自适应的缺点,提出了改进的步长公式,使步长仅与细菌个体当前的进化代数和所求解问题的寻优范围有关,真正实现步长的自适应;其次,将混沌思想和差分进化思想与细菌... 详细信息

针对以往细菌觅食优化算法自适应步长公式经验性参数过多、无法真正实现自适应的缺点,提出了改进的步长公式,使步长仅与细菌个体当前的进化代数和所求解问题的寻优范围有关,真正实现步长的自适应;其次,将混沌思想和差分进化思想与细菌觅食算法结合,对算法初始化过程和寻优过程进行改进,增加群体多样性,避免算法因为早熟而陷入局部最优值;在高维问题的优化过程中,采用逐维更新细菌位置的方法,将整体问题分维处理,极大地提高了算法效率和精度。通过对多个标准测试函数在多维空间进行测试,表明改进算法在高维空间中寻优时速度快、精度高、求解过程简单可行,在寻得最优解的精度上比其他改进方案有显著提高。

关键词：细菌觅食优化算法自适应步长混沌理论差分进化高维优化

在线全文

学校读者我要写书评

暂无评论

细菌觅食算法求解高维优化问题

计算机应用研究 2016年第4期33卷 1024-1027,1033页

作者：李珺党建武兰州交通大学电子与信息工程学院兰州730070

针对细菌觅食优化算法中,以往的自适应步长公式引入参数过多,统一的经验性参数无法适应各类不同问题的情况,提出了改进的自适应步长公式,通过在步长公式中引入当前细菌的进化代数、寻优范围,并发挥当前最优细菌的引导作用,灵活地调整步... 详细信息

针对细菌觅食优化算法中,以往的自适应步长公式引入参数过多,统一的经验性参数无法适应各类不同问题的情况,提出了改进的自适应步长公式,通过在步长公式中引入当前细菌的进化代数、寻优范围,并发挥当前最优细菌的引导作用,灵活地调整步长,真正达到自适应调整步长的目的;其次对高维优化问题进行分析,将其分为可分解可分组、不可分解可分组和不可分解不可分组三大类,针对不同类型的问题,采用不同的分组方式,降维、细化来求解,将复杂问题简单化,极大地提高了求解的效率和精度。将改进的自适应步长公式应用于高维优化问题的求解方法中,通过对多个标准测试函数在多维空间特别是超高维空间(500维、800维、1000维)进行测试,并将其结果与其他算法进行比较,实验证明该改进算法在寻得最优解的精度和效率上比其他改进方案有显著提高。

关键词：细菌觅食优化算法自适应步长高维优化子空间

多元变量相关性及其选择策略在高维贝叶斯优化上的应用

在线全文

学校读者我要写书评

暂无评论

多元变量相关性及其选择策略在高维贝叶斯优化上的应用

作者：周清蓉东南大学

学位级别：硕士

人工智能作为研究用于模拟延伸和扩展人的智能的理论方法以及应用系统的一门新的技术科学,深刻影响着未来经济与社会的发展。大数据的发展为人工智能开辟了一个全新的时代,但是很多应用通常都伴随着大规模异构计算以及分布式存储架构等... 详细信息

人工智能作为研究用于模拟延伸和扩展人的智能的理论方法以及应用系统的一门新的技术科学,深刻影响着未来经济与社会的发展。大数据的发展为人工智能开辟了一个全新的时代,但是很多应用通常都伴随着大规模异构计算以及分布式存储架构等复杂特征,因此以数学理论为依托解决大数据背景下的人工智能问题具有积极的意义。贝叶斯优化作为人工智能以及概率机器学习领域中几种最先进、最有希望的技术之一,通过巧妙的设计概率代理模型和采集函数,只需要经过少数次的目标函数评估即可获得理想解,非常适用于求解非凸、多峰、黑箱和评估代价高昂等复杂研究问题,但将其扩展到高维空间上的研究仍面临着一些挑战。本文以多元变量相关性的研究为基础,设计了相应的变量选择策略,针对高维贝叶斯优化展开应用研究,具体内容如下:首先,提出了多元变量相关性的分析方法,定义了判别多个随机变量和响应变量之间相关性大小的联合最大信息系数JMIC（Joint Maximum Information Coefficient）度量,同时给出了针对这些随机变量彼此之间冗余相关性大小分析的多元最大信息熵MMIE（Multivariate Maximum Information Entropy）方法。进一步,对于随机变量数目以及数据样本量非常庞大的情况,改进了相关性矩阵的定义并给出了另一种识别多个随机变量和响应变量之间相关性大小的多元最大信息熵MMIE度量。然后,从理论上对上述三种定义的性质进行了详细的分析,制定了依据多元变量相关性的变量选择策略MSS（Multivariate Selection Strategy）。最后,在数据集上进行测试,验证了所提出的多元变量相关性理论及其变量选择策略的有效性。接着,将多元变量相关性理论及其选择策略应用到高维贝叶斯优化上,提出了两种高维贝叶斯优化算法。第一种基于变量相关性的高维贝叶斯优化MCS-BO（Bayesian Optimization Based on Multivariate Correlation Selection）算法由变量选择策略选出优化目标的一些重要维度,在子空间上构建贝叶斯优化模型,来缓解高维空间上采集函数优化的困难。针对其它未被选择的维度,定义了填充策略以便进行目标函数的评估和概率代理模型的更新。第二种基于变量相关性的高维贝叶斯优化MCC-BO（Bayesian Optimization Based on Multivariate Correlation Clustering）算法则是依据多元变量相关性来制定聚类标准,设计了一种新的聚类算法来对高维变量进行分组,从而将原来的高维优化问题转化成一些易处理的中低维问题进行求解。此外,还从理论上分析了MCS-BO算法以及MCC-BO算法的的损失边界问题,并且在一些测试函数上进行仿真实验,验证了基于变量相关性的高维贝叶斯优化算法的有效性。

关键词：高维优化最大信息系数多元变量相关性变量选择策略贝叶斯优化