检索结果-南通市图书馆

作者：李晶茹北方民族大学

学位级别：硕士

近年来贷款业务快速发展,金融机构从贷款业务中获利的同时,也承担着贷款用户违约的风险。为了降低借贷风险,金融机构需要一种有效的信用评估体系来评估借款人的违约风险,研究贷款用户违约预测有助于帮助金融机构更好地管理风险,提高信... 详细信息

近年来贷款业务快速发展,金融机构从贷款业务中获利的同时,也承担着贷款用户违约的风险。为了降低借贷风险,金融机构需要一种有效的信用评估体系来评估借款人的违约风险,研究贷款用户违约预测有助于帮助金融机构更好地管理风险,提高信贷资产质量。本文主要工作如下:(1)贷款用户数据集为不平衡数据集,为解决样本不平衡问题,从损失函数角度出发进行分析研究,在焦点损失函数(Focal Loss,FL)中引入动态正负样本权重参数,并用此损失函数替换原极端梯度提升(e Xtreme Gradient Boosting,XGBoost)分类模型中的损失函数。在UCI中3个不平衡数据集上进行性能测试,与决策树、随机森林和XGBoost模型进行对比,结果表明该模型的分类性能具有优势。(2)在贷款违约预测过程中引入白鲸优化算法(Beluga Whale Optimization,BWO)进行参数寻找,分别构建BWO-XGBoost模型、不同采样方法与BWO-XGBoost相结合的模型以及BWO-FL-XGBoost模型。将不同模型的结果进行对比分析,BWO-FLXGBoost贷款违约预测模型的F1值和召回率结果最高,而且在对贷款用户进行违约预测时,BWO-FL-XGBoost模型将违约用户预测错误的数量最少,表明BWO-FLXGBoost贷款违约预测模型具有较为优异的分类性能。最后输出重要性特征并分析各特征对于贷款用户是否违约的影响,以便于金融机构更好地评估贷款用户的违约风险。

关键词：损失函数 XGBoost算法白鲸优化算法采样方法贷款违约预测

改进混合鲸鱼灰狼优化算法在用户贷款违约预测中的应用研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

改进混合鲸鱼灰狼优化算法在用户贷款违约预测中的应用研究

作者：陈甜甜北方民族大学

学位级别：硕士

近年来,用户贷款行业快速发展,金融机构从贷款中获利的同时,也承担着相应贷款人违约的风险。因此,准确预测贷款违约风险十分重要。但随着科学技术的飞速发展和数据量的不断增加,人们对计算精度的要求越来越高,传统算法难以解决该问题,... 详细信息

近年来,用户贷款行业快速发展,金融机构从贷款中获利的同时,也承担着相应贷款人违约的风险。因此,准确预测贷款违约风险十分重要。但随着科学技术的飞速发展和数据量的不断增加,人们对计算精度的要求越来越高,传统算法难以解决该问题,研究者们对此提出了许多群智能优化算法。群智能优化算法结构简单,容易实现,已被广泛应用于各种实际问题。混合鲸鱼灰狼优化算法(hybridized WOA with GWO,WOAGWO)具有全局搜索能力强、开发能力强等优点,但是仍然存在算法初始种群多样性差,在迭代后期容易陷入局部最优的问题。针对上述问题,本文做了如下工作:(1)提出了一种改进的混合鲸鱼灰狼优化算法(CW-WOAGWO)。首先在混合鲸鱼灰狼优化算法(hybridized WOA with GWO,WOAGWO)中引入Circle混沌映射优化初始种群位置。随机初始化种群位置有可能造成初始种群位置分布不均匀,从而使得迭代时间过长或陷入局部最优。使用Circle混沌映射初始化种群位置可以增加种群多样性,从而提高算法的收敛速度。其次在搜索代理位置更新时增加惯性权重。参考惯性权重策略引入一种非线性递减因子,使算法在迭代初期具有较强的全局搜索能力,在迭代到达后期时,惯性权重非线性递减,局部搜索能力加强,收敛速度加快。最后本文使用23个基准函数和CEC2019测试函数对改进后的算法进行性能评估,结果表明本文算法的探索能力和收敛速度得到加强。(2)将CW-WOAGWO算法应用在用户贷款违约预测中。针对处理后的数据集构建了改进的混合鲸鱼灰狼优化算法优化支持向量机模型(CW-WOAGWO-SVM),并与其他三种模型进行实验对比分析。结果表明CW-WOAGWO-SVM模型能够更加准确地对用户贷款违约行为进行预测。

关键词：鲸鱼优化算法灰狼优化算法 Circle混沌映射用户贷款违约预测

基于改进CatBoost算法的糖尿病回归和分类预测模型研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于改进CatBoost算法的糖尿病回归和分类预测模型研究

作者：薛博元北方民族大学

学位级别：硕士

糖尿病是世界上最常见的慢性病,长期处于高血糖会导致身体各器官慢性损伤和功能障碍。目前在人工智能的高速发展下,将机器学习运用在医疗方面是大势所趋。本文主要通过研究糖尿病数据的体检指标信息来构建预测血糖值的Stacking-CatBoos... 详细信息

糖尿病是世界上最常见的慢性病,长期处于高血糖会导致身体各器官慢性损伤和功能障碍。目前在人工智能的高速发展下,将机器学习运用在医疗方面是大势所趋。本文主要通过研究糖尿病数据的体检指标信息来构建预测血糖值的Stacking-CatBoost回归模型和预测糖尿病的FL-Bo-CatBoost分类模型,完成了以下研究工作:(1)提出改进CatBoost算法的两种方法,第一种方法是Stacking模型融合方法改进CatBoost算法,第二种方法是通过引入焦点损失函数概念,改进CatBoost的损失函数,这两种方法有效提升了模型的泛化能力和性能。(2)通过Stacking模型融合方法对CatBoost算法进行改进,构建了血糖的回归预测模型。首先对经过数据预处理的特征变量通过特征选择,筛选出对血糖重要性程度较高的特征变量。分别采用随机森林、XGBoost和CatBoost算法,用于构建血糖的回归预测模型,并采用网格搜索、随机搜索等参数优化方法对这些模型进行调参,然后使用Stacking方法对CatBoost模型进行融合,从而得到参数组合优化后的Stacking-CatBoost回归模型。通过均方误差、平均绝对误差等评价指标评估不同模型的性能,最后实验结果表明,各项指标都有所降低,有效提升了模型的性能。(3)通过改进CatBoost算法的损失函数方法,构建了糖尿病分类预测模型。首先对经过数据预处理的特征变量进行特征选择,使用随机森林算法筛选出与糖尿病相关性强的特征变量。分别采用随机森林、XGBoost和CatBoost算法,构建糖尿病的分类预测模型,然后使用贝叶斯算法进行参数优化。最后引入焦点损失函数(Focal Loss,FL),对CatBoost算法的损失函数进行改进,构建出改进后的FL-Bo-CatBoost分类模型,并通过分类评价指标、混淆矩阵和ROC曲线等方法评估不同模型的性能。实验结果表明,该算法明显优化了数据不平衡问题,而且与文献中的算法相比具有一定的竞争优势。

关键词：糖尿病预测 CatBoost Stacking模型融合贝叶斯优化焦点损失函数

基于改进CatBoost算法的银行电话营销应用研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于改进CatBoost算法的银行电话营销应用研究

作者：郑薪茹北方民族大学

学位级别：硕士

随着互联网的迅速普及,各行各业开始积极采用机器学习技术,以更有效地管理客户关系,从而实现精准营销的策略。这就要求银行需要更智能、精准化的方法来满足当前不断发展的市场需求,来分析银行现有的客户资源,对客户进行细致的分类,从而... 详细信息

随着互联网的迅速普及,各行各业开始积极采用机器学习技术,以更有效地管理客户关系,从而实现精准营销的策略。这就要求银行需要更智能、精准化的方法来满足当前不断发展的市场需求,来分析银行现有的客户资源,对客户进行细致的分类,从而提高银行的销售效率。本文运用银行电话营销相关的基本信息数据来预测客户购买定期存款的意愿,以实现更为精准的电话营销。本文具体的研究工作如下:(1)对获取的银行电话营销的数据集进行了探索性分析及预处理。先从数据集的类别型特性和数值型特征两个方面进行分析,初步总结特征的规律,然后针对不同的数据缺失问题进行处理,并对不同数据类型的特征进行了合适的编码。(2)构建银行电话营销预测模型。对比分析利用自动超参数优化框架Optuna进行超参数寻优后的Categorical Boosting(CatBoost)模型、极限梯度提升模型和轻量级梯度提升机模型,发现CatBoost模型在针对这类数据的分析上表现最优;由于数据集存在不平衡表现,从而引入焦点损失函数(Focal Loss,FL),对CatBoost的损失函数改进,并应用Optuna框架对超参数进行重要性分析以及确定超参数的取值,从而构建Optuna-FL-CatBoost银行电话营销模型。实验结果表明召回率和AUC得到提升,说明改进后的模型识别正类样本的能力以及预测效果更好。(3)引入SHapley Additive ex Planations(SHAP)解释框架对模型进行可视化分析。为了增加模型的可信度,使决策者更容易接受模型的预测结果,模型的解释分别从单样本、多样本、整体等多角度来探究特征对于银行电话营销的影响规律,总结关键特征对银行电话营销的影响方式和机制,以便在真实的业务场景中,帮助业务人员更直观的分析客户能否被成功营销的原因,提高模型的有效性。

关键词：银行电话营销 CatBoost 不平衡数据 SHAP Optuna

基于分布式并行计算的随机梯度下降算法在大规模数据中的应用研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于分布式并行计算的随机梯度下降算法在大规模数据中的应用研究

作者：曹煜北方民族大学

学位级别：硕士

随着数据的爆炸式增长,针对大规模数据的分析模型正面临巨大的挑战,传统统计方法的分析效率逐渐降低。科研工作者在统计学的基础上配合计算机技术提出了许多改进方法,其中随机梯度下降算法(Stochastic gradient descent,SGD)在众多模型... 详细信息

随着数据的爆炸式增长,针对大规模数据的分析模型正面临巨大的挑战,传统统计方法的分析效率逐渐降低。科研工作者在统计学的基础上配合计算机技术提出了许多改进方法,其中随机梯度下降算法(Stochastic gradient descent,SGD)在众多模型的优化中得到比较广泛的应用。随机梯度下降策略可以加快算法优化过程,将SGD算法扩展到大规模数据的应用中是目前的研究热点之一。本文主要研究SGD算法与几种推广变体的并行与分布式化方法,以及它们在大规模统计分析中的应用,具体的研究工作如下:(1)提出一种基于无锁共享内存的异步并行SGD算法(Lock-Free and sharedmemory Asynchronous SGD,LFA-SGD)。本文先构建无锁共享内存的异步计算框架,将SGD、自适应随机梯度下降(ASGDs)算法与异步计算框架相结合,设计出系列基于LFA-SGD与LFA-ASGDs算法的卷积神经模型(Convolutional Neural Network,CNN),并将其应用于大规模天体光谱检测工作中。实验表明:并行框架下基于LFA-SGD与LFA-ASGDs算法的神经网络模型不仅收敛速度快,而且可以获得较高的分类精确度,同时模型也可以使GPU利用率从56.67%提升到96.67%。(2)提出同步自适应(Synchronous and Adaptive,SA)的SGD算法和同步自适应随机方差缩减梯度下降(SVRG)算法。本文在Spark分布式框架下,采用Yarn资源管理调度方法,将SGD、SVRG算法与同步计算框架相结合,设计出系列基于SA-SGD和SA-SVRG算法的支持向量机、Logistic回归模型,并将这些模型应用于糖尿病性视网膜病变检测中。实验表明:分布式框架下基于SA-SGD和SA-SVRG算法的模型,不仅收敛速度得到了明显地加快,准确率也有着显著地提升。

关键词：随机梯度下降算法机器学习分布式并行计算大规模数据分析

基于改进GRU模型的共享单车需求量预测研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于改进GRU模型的共享单车需求量预测研究

作者：宋歌北方民族大学

学位级别：硕士

共享单车作为共享经济与单车出租行业的创新性产物,在很大程度上满足了公众对于短距离的出行需求,逐渐成为了居民日常通勤、解决城市出行最后一公里难题的首选方案。但在共享单车产业快速发展的同时,随之而来的是投放量不合理的问题,这... 详细信息

共享单车作为共享经济与单车出租行业的创新性产物,在很大程度上满足了公众对于短距离的出行需求,逐渐成为了居民日常通勤、解决城市出行最后一公里难题的首选方案。但在共享单车产业快速发展的同时,随之而来的是投放量不合理的问题,这无疑给相关企业的经济利益和城市市容带来了负面的影响。因此,共享单车需求量的合理预测,对于改善城市环境、构建慢行交通系统都具有深远的意义。本文的工作如下:(1)本文对共享单车历史数据进行预处理与特性分析。首先对数据进行了异常值检测、数据标准化、数据编码三个步骤的数据预处理。其次从多个视角切入,对数据展开特性分析。最后以特性分析的结果为依据,构造了四个时间特征,为后文模型的学习提供了更多有价值的时间信息。(2)本文搭建了基于循环神经网络(Recurrent Neural Network,RNN)、长短期记忆网络(Long Short-Term Memory,LSTM)和门控循环单元(Gated Recurrent Unit,GRU)的预测模型,同时,为有效地帮助模型找到最优的参数组合,引入了粒子群优化算法(Particle Swarm Optimization,PSO)对上述三个模型进行参数调优。实验结果表明带有两个门控结构的GRU模型的预测性能更为优异。(3)本文引入自注意力机制(Self-Attention Mechanism,SE)和软注意力机制(Soft Attention Mechanism,SO),构建了PSO-SESO-GRU模型。为了探究模型的性能,本文将PSO-SESO-GRU与PSO-GRU、PSO-SE-GRU、PSO-SO-GRU三个模型在共享单车需求量数据集上进行对比实验。实验结果表明,PSO-SESO-GRU模型与原始GRU模型相比,提高了共享单车需求量预测的精度。

关键词：共享单车需求量预测门控循环单元注意力机制粒子群优化算法

带有随机改进Barzilai-Borwein步长的小批量稀疏随机方差缩减梯度法

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

带有随机改进Barzilai-Borwein步长的小批量稀疏随机方差缩减梯度...

作者：杨旭北方民族大学

学位级别：硕士

随机梯度下降法（Stochastic Gradient Descent,SGD）是机器学习领域中求解大规模支持向量机（Support Vector Machine,SVM）问题的有效手段之一。随机采样的策略显著降低了SGD算法每次迭代的计算成本,但同时会产生随机方差。基于SGD算... 详细信息

随机梯度下降法（Stochastic Gradient Descent,SGD）是机器学习领域中求解大规模支持向量机（Support Vector Machine,SVM）问题的有效手段之一。随机采样的策略显著降低了SGD算法每次迭代的计算成本,但同时会产生随机方差。基于SGD算法设计的随机方差缩减梯度法（Stochastic Variance Reduced Gradient,SVRG）可以有效缓解这一问题,但仍然存在缺陷有待改进。因此,提出可以求解大规模SVM优化问题的改进SVRG算法成为本文的研究重点。具体工作如下:（1）提出一种稀疏的随机方差缩减梯度法（Sparse SVRG,SSVRG）。针对L正则化惩罚项具有的优异稀疏性和不完全可微的局限性,提出了一种基于L范数次梯度设计的稀疏近似梯度。并将加入稀疏近似梯度后的全梯度用于SVRG算法的内循环,来克服SVRG算法外循环中包含所有特征的全梯度计算会显著降低模型的计算和存储效率、导致算法失去稀疏性的缺陷。（2）提出了带有随机改进Barzilai-Borwein（BB）步长的小批量稀疏随机方差缩减梯度法（Mini-Batch SSVRG with Randomly Improved Barzilai-Borwein Step,MSSVRG-R2BB）。首先,受小批量算法可以缩减方差的启发,给出了小批量的随机方差缩减梯度法（Mini-batch SVRG,MSVRG）。其次,受BB方法改进研究启发,提出了使用随机小批量样本更新的改进BB方法。最后,将随机改进BB方法与小批量的SVRG算法、稀疏的SVRG算法相结合,得到了带有随机选取的改进BB步长的小批量稀疏随机方差缩减梯度法。（3）通过一系列的数值实验来验证本文所提出MSSVRG-R2BB算法求解SVM问题的有效性和实用性。实验模拟了算法在实际应用中处理大规模高维稀疏数据的SVM问题的场景,验证了MSSVRG-R2BB算法不仅具有比一般的随机梯度下降法及其改进算法更强的预测能力和更快的收敛速度,而且MSSVRG-R2BB算法在参数选择上也具有良好的鲁棒性。

关键词：随机梯度下降法小批量算法 Barzilai-Borwein方法方差缩减支持向量机

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

大规模支持向量机的求解方法与应用

大规模支持向量机的求解方法与应用

作者：李宝胜北方民族大学

学位级别：硕士

面临日益激增的海量数据,求解支持向量机(Support Vector Machine,SVM)的传统方法遇到核矩阵存储及计算效率低的问题.提出既能够克服存储溢出,又可以高效的求解大规模SVM模型的方法成为本文的研究重点.具体的研究工作如下:(1)提出随机... 详细信息

面临日益激增的海量数据,求解支持向量机(Support Vector Machine,SVM)的传统方法遇到核矩阵存储及计算效率低的问题.提出既能够克服存储溢出,又可以高效的求解大规模SVM模型的方法成为本文的研究重点.具体的研究工作如下:(1)提出随机梯度下降(Stochastic Gradient Descent,SGD)求解大规模SVM.首先,由于SVM无约束形式为凸问题,设计了SGD求解大规模SVM的算法.其次,基于光滑函数与非光滑函数两种情形,分别验证了其收敛性质.最后,将设计的算法应用到微阵列分类中,实验表明:与传统经典算法比较,该方法既提高了微阵列分类准确率,又提高了其收敛效率.(2)提出基于共享内存的并行随机梯度下降(Shared Memory Parallel SGD,SMPSGD)求解大规模SVM.首先,调研了多种并行计算模型,搭建了适合于SGD并行化的共享内存模型.其次,利用消息传递接口(Message Passing Interface,MPI)设计了SMPSGD求解大规模SVM算法,并在该算法的基础上设计了并行版本的自适应随机梯度下降(ASGDs)求解大规模SVM算法.最后,将这两种算法应用到大规模脑瘤图像检测工作中,实验表明:SMP-SGD与SMP-ASGDs算法相较于SGD,不仅提高了计算效率,而且确保了脑瘤图像检测准确率.(3)提出基于Spark并行框架的批量同步并行随机梯度下降(Bulk Synchronous Parallel SGD,BSP-SGD)求解大规模SVM.首先,调研了Spark的内存计算与Yarn资源调度方式,分析了BSP计算模型.其次,设计了基于Spark的BSP-SGD求解大规模SVM算法.最后,将该算法应用到大规模文本数据分类中,实验表明:该方法不仅克服了内存溢出问题,提高模型计算效率,而且确保了较高的准确率.

关键词：大规模支持向量机随机梯度下降并行计算共享内存批量同步并行

基于梯度加速的机器学习模型在情感分析中的应用研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于梯度加速的机器学习模型在情感分析中的应用研究

作者：刘晟伟北方民族大学

学位级别：硕士

为了解决大规模情感分析场景下,如何在保证模型学习正确率较高的同时更快地求解模型这一问题,本文从大规模Twitter平台评论文本的情感分析应用出发,分别完成了以下三项任务:针对Twitter英文评论文本向量化的任务,在汇总整理了源于Kaggl... 详细信息

为了解决大规模情感分析场景下,如何在保证模型学习正确率较高的同时更快地求解模型这一问题,本文从大规模Twitter平台评论文本的情感分析应用出发,分别完成了以下三项任务:针对Twitter英文评论文本向量化的任务,在汇总整理了源于Kaggle网站的Twitter情感分析数据集后,首先通过文本清洗去除非英文字母的部分,然后通过分词、词干提取、词形还原等步骤实现文本预处理,最后完成特征提取与特征选择的工作。本文从词袋模型入手将文本向量化,在这个基础上加入N-Gram算法,根据效果选择N为2的二元单词片段模型,接着使用TF-IDF技术,对于单词片段频数进行加权修正,然后在考察不同特征数量下模型的性能后选择重要性最高的前2000个单词片段形成关键gram列表,作为最终的文本特征。针对使用梯度加速算法,解决大规模情感分析机器学习模型的任务,根据大规模情感分析的特点选择逻辑回归、支持向量机、朴素贝叶斯三种机器学习模型。在随机梯度下降算法的基础上,基于动量加速和方差缩减两种针对梯度方向的加速策略,本文融合二者的优势对小批量梯度下降算法进行改进,提出了一种动量加速的小批量梯度方差缩减算法,并将其应用到Twitter评论情感分析任务中。实证结果表明,改进的小批量梯度加速算法有效减少了迭代次数,加速了学习进程。针对基于梯度加速算法的不同机器学习模型,在实际应用中性能与时间代价的比较任务,在按8:2的比例随机划分训练集与测试集后,本文选择三种机器学习模型分别进行训练。结果表明,无论在训练集还是测试集上,支持向量机模型的拟合效果都最好,但是其训练时间也是最长的;伯努利贝叶斯朴素模型的训练时间最短,但是拟合效果是三个模型中最差的;逻辑回归模型平衡了训练时间与拟合效果,在保证模型学习正确率较高的同时训练时间更少。因此,本文得出了在Twitter评论情感分析中最适合应用逻辑回归模型的结论。

关键词：大规模情感分析机器学习梯度加速改进的小批量梯度加速算法

基于ARIMA和PSO-BP组合模型的北京市房价预测研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于ARIMA和PSO-BP组合模型的北京市房价预测研究

作者：廖奥林北方民族大学

学位级别：硕士

随着我国经济的不断发展,房价已逐渐成为人们重要关注的对象,通过对其进行精准预测,能够为房屋买卖双方提供一定的参考价值。因此,实现房价预测是一个十分具有现实意义的研究。本文以北京市房价预测作为研究对象,首先通过网络爬虫从安... 详细信息

随着我国经济的不断发展,房价已逐渐成为人们重要关注的对象,通过对其进行精准预测,能够为房屋买卖双方提供一定的参考价值。因此,实现房价预测是一个十分具有现实意义的研究。本文以北京市房价预测作为研究对象,首先通过网络爬虫从安居客网站获取到2009年1月至2022年9月间的北京市房价数据,并将处理好的数据划分为训练集和测试集,以2022年之前的房价数据作为训练集,2022年的房价数据作为测试集。其次考虑使用差分整合自回归移动平均模型(ARIMA)和BP神经网络模型进行建模分析,发现在训练集上ARIAM模型拟合效果较好,BP神经网络模型拟合效果较差,但在测试集上ARIAM模型预测误差较大,BP神经网络模型预测误差相较于ARIMA模型有所下降,为提高BP神经网络模型的拟合效果,利用动态变权重粒子群算法(PSO)对其权重和阈值进行优化选择,建立PSO-BP神经网络模型,实验结果表明,PSO-BP神经网络模型相较于BP神经网络模型训练集上拟合效果提升明显,测试集上预测误差有所下降。为进一步提高模型预测精度,引入组合模型思想,构造ARIMA-PSO-BP串联组合和基于简单加权法,优势矩阵法和残差倒数法的并联组合模型。最终发现组合模型的拟合效果都较好,预测结果更接近真实值,并以均方根误差,平均绝对误差和平均绝对百分比误差作为评估指标,在测试集上对ARIMA-PSO-BP组合模型、ARIMA模型、BP神经网络模型和PSO-BP神经网络模型的预测结果进行对比,发现组合模型的预测精度更高,其中基于残差倒数法的并联组合模型的预测效果最好,预测误差最低。

关键词：房价 ARIMA模型 BP神经网络模型粒子群算法组合模型