检索结果-南通市图书馆

基于TRA神经网络、OT最优运输和资金流的量化投资策略研究

在线全文

学校读者我要写书评

暂无评论

基于TRA神经网络、OT最优运输和资金流的量化投资策略研究

作者：程珺瑶华中科技大学

学位级别：硕士

资本市场交易模式多样化和信息技术的飞速进步促进了现代投资理论与方法的创新。研究者不再局限于传统的基本面分析和技术分析,开始借助深度学习的方法研究资本市场。随着研究的深入,量化投资理论的兴起,越来越多的神经网络模型被用来... 详细信息

资本市场交易模式多样化和信息技术的飞速进步促进了现代投资理论与方法的创新。研究者不再局限于传统的基本面分析和技术分析,开始借助深度学习的方法研究资本市场。随着研究的深入,量化投资理论的兴起,越来越多的神经网络模型被用来预测股票价格走势,并且预测效果较佳,因此基于深度学习的量化投资策略在全球市场得到了广泛的应用。目前大部分股票预测模型假设样本均服从独立同分布,与股票市场中复杂的交易模式相矛盾,影响股票预测模型的准确性。本文采用Lin et al.(2021)提出的时间路由适配器(TRA)模型作为股票预测模型,增强对多种股票交易模式建模的能力。TRA模型是在加入注意力机制的长短期记忆神经网络(ALSTM)的基础上,用一组线性预测器代替ALSTM模型的输出门,对多种股票交易模式建模,同时将ALSTM模型提取的隐藏表征(hidden state)和预测器的历史预测误差共同作为路由器的输入变量,由路由器对样本所属模式进行预测,再将样本分配给不同的预测器。为了正确识别多种股票交易模式,进一步设计了基于最优运输(OT)的学习算法,并添加正则化项来指导路由器学习样本中的模式,最终获得最优分配矩阵。另外,本文将TRA模型与线性(Linear)模型、梯度提升机(Light GBM)、多层感知机(MLP)、状态频率记忆循环神经网络(SFM)、ALSTM和深度自注意力神经网络(Transformer)作比较,构建基于沪深300成分股的多空对冲投资策略进行回测。实证结果表明,相比于基准模型(ALSTM和Transformer),TRA模型降低了均方根误差(RMSE)和平均绝对误差(MAE),提升了信息系数(IC),提高了年化收益率和夏普比率。本文研究得出了以下结论:(1)TRA模型可以增强现有股票预测模型对多种股票交易模式建模的能力,提升模型的预测性能,并在现实世界的投资中取得更高的投资回报;(2)TRA模型能够正确地学习多种股票交易模式;(3)可以选择合适的预测器数量使TRA模型达到较佳的性能;(4)将隐藏表征和历史预测误差共同作为路由器的输入信息源,有助于模型预测多种股票交易模式;(5)最优运输(OT)对模型学习多种股票交易模式有帮助,即添加正则化项能够指导路由器预测样本所属的多种交易模式。

关键词：股票预测量化投资神经网络最优运输

基于最优运输理论和TV-正则项的图像去噪模型

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

数值计算与计算机应用 2024年第4期45卷 314-335页

作者：黄维佳黄忠亿杨文莉清华大学数学科学系北京100084 中国矿业大学数学学院徐州221116

本文提出了一个基于最优运输理论中的对偶Lipschitz范数和TV-正则项的新去噪模型,说明了对偶Lipschitz范数和Meyer所提的适用于卡通纹理分解问题的G-范数的联系.该模型可以通过一个凸泛函分别关于两个变量交替最优化来求解,本文基于求解... 详细信息

本文提出了一个基于最优运输理论中的对偶Lipschitz范数和TV-正则项的新去噪模型,说明了对偶Lipschitz范数和Meyer所提的适用于卡通纹理分解问题的G-范数的联系.该模型可以通过一个凸泛函分别关于两个变量交替最优化来求解,本文基于求解Wasserstein距离和ROF模型的方法设计了数值算法。本文证明了所提算法的收敛性,并且分析了模型最小值点的存在性和唯一性。最后,本文通过数值试验比较了所提模型与传统的ROF等图像去噪模型的去噪效果,分析了所提模型的特点,验证了算法的有效性.

关键词：图像去噪最优运输凸优化算法

在线全文

学校读者我要写书评

暂无评论

用于激光光束整形的连续自由曲面的设计

光学技术 2019年第1期45卷 21-28页

作者：庄雯张宁徐熙平尹鹏陈琦李清瑶长春理工大学光电工程学院吉林长春130022

设计一个有效的连续自由曲面,将给定的准直激光光束映射成任意模式的目标照明,仍然是一个具有挑战性的问题。提出一种基于光线映射来构造连续自由曲面的方法,通过计算光源与目标区域两者辐照度分布之间的光线映射关系,构造出光滑连续的... 详细信息

设计一个有效的连续自由曲面,将给定的准直激光光束映射成任意模式的目标照明,仍然是一个具有挑战性的问题。提出一种基于光线映射来构造连续自由曲面的方法,通过计算光源与目标区域两者辐照度分布之间的光线映射关系,构造出光滑连续的自由曲面。对于准直输入光束,采用最优运输法计算光源与目标之间的光线映射;根据折反射定律和可积条件,推导出用于求解可积映射关系和连续自由曲面的一般条件;证明在小角度近似的情况下,基于最优运输法得到的光线映射关系可以满足可积条件;通过逐线积分法求解出满足一定边界条件的线性平流方程,从而完成连续自由曲面的构造。实验表明,利用逐线积分法求解标准积分方程构造出的连续自由曲面能实现任意模式的目标照明,能量利用率达98.95%。结果表明,基于最优运输法得到的光线映射关系在自由曲面和目标平面之间的距离较大时近似可积,提供了一种有效的构造连续自由曲面的方法。

关键词：连续自由曲面光线映射最优运输线性平流方程逐线积分

在线全文

学校读者我要写书评

暂无评论

谈谈概率论与其他学科的若干交叉

数学进展 2005年第6期34卷 661-672页

作者：陈木法北京师范大学数学科学学院北京100875

近一二十年以来,概率论获得了很大发展,特别是与其他学科交叉融合,形成了一些新的学科分支和学科生长点．我们首先从2002年国际数学家大会(ICM2002)所反映的情况予以说明．作为这种交融的一个侧面,也概述我们研究群体的三项成果．最后... 详细信息

近一二十年以来,概率论获得了很大发展,特别是与其他学科交叉融合,形成了一些新的学科分支和学科生长点．我们首先从2002年国际数学家大会(ICM2002)所反映的情况予以说明．作为这种交融的一个侧面,也概述我们研究群体的三项成果．最后介绍取得这些成果的一种数学工具及其与线性规划和非线性偏微分方程等学科的联系．

关键词：概率论 ICM2002 随机算法自由概率渗流特征值遍历理论最优运输

在线全文

学校读者我要写书评

暂无评论

几个最优映射存在唯一性定理的统一证明

南京师大学报（自然科学版） 2015年第4期38卷 82-85页

作者：陈平江苏第二师范学院数学与信息技术学院江苏南京210013

基于凸锥的性质以及测度理论,本文给出了几个最优映射存在唯一性定理的统一证明.著名的Brenier定理以及其它几个与光线反射、折射有关的费用函数所对应的最优质量运输问题解的存在唯一性定理可以视为本文主要定理的重要推论.与Brenier... 详细信息

基于凸锥的性质以及测度理论,本文给出了几个最优映射存在唯一性定理的统一证明.著名的Brenier定理以及其它几个与光线反射、折射有关的费用函数所对应的最优质量运输问题解的存在唯一性定理可以视为本文主要定理的重要推论.与Brenier定理的原始证明比较而言,本文证明过程简洁明了.

关键词：凸锥 Brenier定理最优运输

在线全文

学校读者我要写书评

暂无评论

BERT知识蒸馏与稀疏化微调模型研究

BERT知识蒸馏与稀疏化微调模型研究

作者：史晓龙西安电子科技大学

学位级别：硕士

预训练语言模型近几年来在自然语言处理领域中实现了飞跃式地发展,但随着模型体积愈发庞大,预训练语言模型难以部署在资源受限设备与在线服务当中。知识蒸馏作为模型压缩的常用方法,通过训练一个规模更小的学生模型来学习预训练模型的... 详细信息

预训练语言模型近几年来在自然语言处理领域中实现了飞跃式地发展,但随着模型体积愈发庞大,预训练语言模型难以部署在资源受限设备与在线服务当中。知识蒸馏作为模型压缩的常用方法,通过训练一个规模更小的学生模型来学习预训练模型的语言知识,从而在保证模型性能的前提下缩小模型的体积。传统的知识蒸馏策略采用固定的层级映射且蒸馏过程十分耗时,学生模型不仅生成过程效率低下,而且难以学习到原始模型全部的语言知识。同时,部署在生产环境中的语言模型需要进行周期性微调,而微调过程的内存开销十分庞大,造成模型频繁更新困难,缺乏时效性。本文针对知识蒸馏和微调过程中效率低下的问题,通过改进蒸馏策略和稀疏化注意力权重矩阵的方法,改善传统知识蒸馏模型性能。具体工作包括以下两点:(1)针对BERT-EMD模型在Transformer层知识蒸馏计算速度缓慢的问题,本文提出基于对偶EM(Earth Mover)距离的BERT知识蒸馏模型。首先根据最优运输理论,介绍基于对偶EM距离进行知识蒸馏的BERT语言模型的整体架构,通过将老师层级和学生层级视为权重分布,学习得到一个最优转移矩阵,来表示不同层级的重要性,该策略能够使每一层学生层学习到所有老师层的语言知识;此外,基于坎托罗维奇理论,在数学层面分析了EM距离的表现形式、约束条件及其优势;最后,引入基于增量填充的两阶段法求解对偶EM距离,通过修改和微调两个阶段得到最优转移矩阵。实验结果表明,在英文通用语言基准测试数据集以及今日头条中文文本分类数据集上,相较于BERT-EMD,本文提出的模型平均知识蒸馏时间减少10%。(2)针对BERT模型微调过程中注意力权重冗余、内存占用高、推理速度慢的问题,本文提出基于Re LU和均方根归一化的BERT微调模型——Sparse Re LU-Self-Attention Fine-tuning(SRSAF)模型。首先,针对softmax函数计算注意力权重混乱、计算低效的问题,Re LU函数能够截断不相关的信息流,产生真正的零注意力权重,实现注意力矩阵稀疏化,降低模型微调过程中的内存开销;此外,针对Re LU函数梯度不稳定导致优化失败的问题,引入均方根归一化方法,根据均方根统计量对总输入进行正则化,确保模型输出的鲁棒性,节约计算开销;最后,引入Bert Viz可视化工具对提出的模型进行可视化分析,通过对不同层级可视化,验证了本文提出模型具有稀疏性。实验结果表明,在英文通用语言基准测试数据集以及今日头条中文文本分类数据集上,相较于BERT-EMD,本文提出的模型性能提升35%,平均微调时间降低7%,显卡显存占用率降低15%。

关键词：预训练语言模型知识蒸馏注意力机制最优运输稀疏化矩阵

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

不完全监督下的血液白细胞图像分析

不完全监督下的血液白细胞图像分析

作者：吴嘉炜福建农林大学

学位级别：硕士

血液白细胞是血液疾病诊断的重要指标之一,当患者出现部分病变时,不同类别的血液白细胞数量会发生明显变化。目前,医生主要通过人工镜检的方式对血液白细胞进行计数、类别分析。然而,人工镜检存在主观性强、耗时耗力等困难,导致检测结... 详细信息

血液白细胞是血液疾病诊断的重要指标之一,当患者出现部分病变时,不同类别的血液白细胞数量会发生明显变化。目前,医生主要通过人工镜检的方式对血液白细胞进行计数、类别分析。然而,人工镜检存在主观性强、耗时耗力等困难,导致检测结果出现偏差且需要大量时间。因此,有必要运用深度学习技术开展血液白细胞图像自动分析研究,以提高血液白细胞分析效率与性能。虽然大规模数据驱动的深度学习全监督技术在各个视觉任务中获得了优越性能,但是血液白细胞图像标注困难、公开带标注数据较少,导致全监督算法在白细胞图像自动分析场景性能受限。因此,本文通过充分挖掘未标注数据用处,开展不完全监督下的白细胞图像分析研究,以提高深度网络模型对血液白细胞自动分析的性能。本文主要研究内容如下:(1)针对快速染色类型白细胞图像缺失,导致无法构建更具有泛化能力的血液白细胞图像数据集问题,本文提出一种无监督图像风格迁移方法,即基于最优运输的血液白细胞图像数据集扩增方法。本文首先研究了代价矩阵为色彩差异的最优运输风格转换方法,之后进一步研究在子区域分别进行最优运输风格转换的白细胞图像扩增方法。实验结果表明,本文方法计算成本低、构建的快速染色白细胞图像纹理真实、形状不易变形,并且能够与基于深度学习的方法取得相似性能。(2)针对血液白细胞图像像素级标注困难、标注数量少的难点,本文提出一种基于熵最小化的白细胞图像语义分割。该方法通过提出的特征梯度提正则化、自适应锐化、任务间类别一致性约束迫使神经网络的决策边界位于低密度区域,使网络模型产生低熵预测。实验结果表明,在所构建的血液白细胞图像数据集与公开数据中,所提出的方法用最小的时空复杂度代价超越了对比算法的语义分割性能。(3)针对血液白细胞图像分类中的数据标注受限,本文提出一种启发式对比视角的自监督白细胞分类。该方法通过构造更加合理的正负样本及要求模型学习样本间的相对关系,使无监督所学习到更具有规律和结构的表征。在两个血液白细胞图像数据集实验表明,所提出方法能够更好地适配多种下游任务,如白细胞图像线性分类、白细胞图像域迁移分类、白细胞图像微调分类,为不完全监督下的血液白细胞图像分析系统奠定了基础支持算法。

关键词：白细胞分割白细胞分类半监督学习自监督学习最优运输

面向高维数据的Earth Mover's Distance Query算法研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

面向高维数据的Earth Mover's Distance Query算法研究

作者：陈潭中国科学技术大学

学位级别：硕士

大数据时代,数据规模和维度与日俱增,对于高维大数据,如何以更低的计算成本估计数据集之间的距离、快速判断数据集之间的关系,进而帮助用户合理地做决策,具有重要的研究意义和广泛的应用场景。例如,在迁移学习中,选择和目标数据集之间... 详细信息

大数据时代,数据规模和维度与日俱增,对于高维大数据,如何以更低的计算成本估计数据集之间的距离、快速判断数据集之间的关系,进而帮助用户合理地做决策,具有重要的研究意义和广泛的应用场景。例如,在迁移学习中,选择和目标数据集之间距离小的数据集作为源数据集,可以有效地提升学习效果、节约计算成本。最优传输(Optimal Transport)是一种衡量分布之间距离的模型,因此,本文采用Earth Mover’s Distance(EMD)来衡量高维数据集之间的距离,引入层次分解思想,研究高维数据的EMD Query算法。首先,结合实际应用场景,我们定义EMD Query问题:给定欧式空间Rd中的两个加权点集A和B,快速判断它们的EMD是否大于或小于预先给定的阈值T≥ 0。特别地,当维度d很高,且丨A|和丨B|很大时,大多数现有的EMD算法的复杂度过高,无法高效地求解这个问题。其次,我们基于低倍增维度的假设,结合层次分解思想,提出一种数据相关的层次Gonzalez’s算法,从而压缩解空间。进一步,我们提出一种层次EMD Query算法,利用数据结构逐层估计EMD,以避免直接计算A和B之间的EMD,从而更有效地解决EMD Query问题。此外,我们还改进算法,以应对数据集倍增维度ρ未知的情况。本文从理论分析和实验设计两个角度,根据定义的EMD Query问题,对比已有的EMD算法和其他层次分解算法,验证了我们提出的算法运行时间更短、准确率更高、效果更好,具有以下优点:降低时间复杂度,减少计算资源;算法易于编程实现,构建的数据结构简单,减少空间复杂度;算法框架的泛化性强,可以插入任何已有的EMD算法,易于扩展。

关键词：最优运输 EMD 倍增维度数据相关

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于“LP”的水泥运输问题研究

现代信息科技 2019年第1期3卷 162-163页

作者：陶欣浙江万里学院浙江宁波315000

本文将现实中的混凝土搅拌站水泥运输的路线最优问题,转换成合理的数学模型。一方面先将混凝土搅拌站和各工厂之间的道路连通情况转化成求解最短路径的图论模型,另一方面通过对影响水泥运输成本的各要素分析,确定了关于水泥运输路程和... 详细信息

本文将现实中的混凝土搅拌站水泥运输的路线最优问题,转换成合理的数学模型。一方面先将混凝土搅拌站和各工厂之间的道路连通情况转化成求解最短路径的图论模型,另一方面通过对影响水泥运输成本的各要素分析,确定了关于水泥运输路程和载重的最优化约束模型,然后根据混凝土搅拌站的日产能和各工地的日需求量确定约束条件。最后通过MATLAB软件求解出关于水泥运输和混凝土搅拌站类型选址的最优方案。

关键词：整数规划 Dijkstra算法最优运输图论