检索结果-南通市图书馆

作者：曹睿哈尔滨工业大学

学位级别：硕士

人工智能技术的发展日新月异,机器博弈作为其中的热门研究领域受到了研究者的广泛关注。近年来,以深度强化学习算法为代表的机器博弈方法得到了长足的发展。一方面,Alpha Go等围棋智能体的成功标志着深度强化学习算法在完备信息机器博... 详细信息

人工智能技术的发展日新月异,机器博弈作为其中的热门研究领域受到了研究者的广泛关注。近年来,以深度强化学习算法为代表的机器博弈方法得到了长足的发展。一方面,Alpha Go等围棋智能体的成功标志着深度强化学习算法在完备信息机器博弈领域已取得了重大突破。另一方面,非完备信息机器博弈因其复杂度高、信息感知不完全等特点,已成为人工智能领域新的研究焦点。本文主要研究非完备信息条件下三维视频游戏的策略求解问题。针对视频游戏博弈中高维状态空间与信息感知不完全的问题,提出了一种基于内在奖励策略优化算法的深度强化学习方法。在该方法中,首先利用限制行动策略比值更新幅度的手段缓解了运用传统算法时产生的高方差、不稳定问题。其次,针对三维场景中较为常见的缺乏环境反馈奖励值的问题,本文提出了内在奖励模型,通过设计目标映射网络与预测网络产生内在奖励值弥补环境反馈奖励值的缺失,辅助智能体进行策略更新。最后,考虑到内在奖励模型与传统策略优化算法的结构性差异,通过调整价值网络的结构对两者进行融合,进而提出内在奖励策略优化算法,提升了智能体在稀疏奖励三维场景中的行动效果。从增强智能体对环境奖励信息的感知能力和对强化学习状态信息的估计准确度的角度出发,本文依据多任务学习中的辅助任务学习机制,提出和设计了三种类型的辅助学习任务。通过使用经验回放技术,采样智能体的交互数据用于辅助任务的训练,实现了深度强化学习与辅助任务学习的有效结合。在此基础上将辅助任务学习机制与内在奖励策略优化算法结合,进一步提升了原始强化学习算法训练出的智能体在三维场景中的性能。本文以三维视频游戏Vizdoom作为深度强化学习算法的测试平台,通过相关实验分析验证所提出算法的有效性。

关键词：深度强化学习策略优化内在奖励辅助任务学习

基于结构化表示学习的文本相似度计算方法的研究与应用

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于结构化表示学习的文本相似度计算方法的研究与应用

作者：种潇敏长安大学

学位级别：硕士

随着移动互联网的迅猛发展,网络上的文本信息呈指数级增长。如何从海量的文本信息中过滤掉重复的内容并挖掘出有用的信息,成为一个亟需解决的问题。对该问题的解决通常会涉及到文本相似度计算,而文本语义表达是影响相似度计算的一个重... 详细信息

随着移动互联网的迅猛发展,网络上的文本信息呈指数级增长。如何从海量的文本信息中过滤掉重复的内容并挖掘出有用的信息,成为一个亟需解决的问题。对该问题的解决通常会涉及到文本相似度计算,而文本语义表达是影响相似度计算的一个重要因素。文本结构化表示是一种重要的文本语义表示方法。该方法构建的结构化表示可以很好地呈现文本语义块间的依赖关系,从而准确地表达文本的语义内容、语义中心和主旨。此外,研究表明语义表示的结构因任务的不同而有所差异,构建特定任务的结构化语义表达对该任务地处理就变得至关重要。然而,外部解析器构建的语义表示结构是通用的。且解析器的使用会使模型的架构变为串行架构,其产生的错误会传播到后期的处理阶段,导致无法对模型进行全局优化,从而最终影响模型的性能。因此,本论文对文本结构化表示及相似度计算展开以下研究:(1)本论文提出了基于Gumbel-Tree-LSTM模型的文本相似度计算方法。该方法首先采用BERT预训练模型获取词向量;之后采用Gumbel-Tree-LSTM模型构建文本结构树,获取文本的结构化向量;最后将该向量送入MLP中进行相似度计算。不同于采用外部解析器进行通用的依存结构构建,该方法构建的文本结构树特定于文本相似度计算任务。实验结果表明,该方法比经典的相似度计算方法效果更好。(2)针对较长文本词语和句子数多导致结构树层数过多以及结构难以构造的问题,本论文提出了基于层叠模型的文本相似度计算方法。该方法利用层叠Gumbel-Tree-LSTM模型来构建文本结构树,其中低层部分用来分析子句中词语间的依赖关系,高层部分用来分析子句间的依赖关系。实验结果表明,该方法比基于单层模型的文本相似度计算方法准确率及值更高。(3)针对层叠模型高层部分难以学习子句间依赖关系及结构,以及模型训练走“捷径”的问题,本论文进一步提出了基于辅助任务学习的文本相似度计算方法。该方法利用辅助任务约束模型参数的学习,协助模型高层部分学习语块间的依赖关系及结构。实验结果表明,该方法能够进一步提高文本相似度计算任务的性能。(4)最后,论文设计并实现了一个西安旅游知识问答系统。该系统以基于结构化表示学习的文本相似度计算方法为基础,能够从语义的角度较为准确地匹配到相关的问答内容并返回给用户。

关键词：相似度计算文本表示层叠模型辅助任务学习

基于加性角惩罚焦点损失的多模态语音情感识别研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于加性角惩罚焦点损失的多模态语音情感识别研究

作者：叶升华南理工大学

学位级别：硕士

语音情感识别作为智能人机交互系统不可或缺的组件,具有重要的研究意义,在医疗辅助、健康管理和生活服务等方面具有广阔的应用前景。深度学习技术的快速发展为语音情感识别注入了新的活力,但现阶段对于语音情感识别的研究仍存在许多不... 详细信息

语音情感识别作为智能人机交互系统不可或缺的组件,具有重要的研究意义,在医疗辅助、健康管理和生活服务等方面具有广阔的应用前景。深度学习技术的快速发展为语音情感识别注入了新的活力,但现阶段对于语音情感识别的研究仍存在许多不足。大部分工作集中在对手工特征和网络结构的设计上,而忽视了对目标损失函数的设计和蕴含情感信息的多种模态之间的协同作用的探究。为了提高语音情感识别系统的性能,本文针对这些问题展开研究,主要包括以下工作:(1)探究了卷积神经网络结构、池化策略和多头自注意力机制对于模型性能的影响。鉴于不同性别存在情感表达上的差异,本文设计了一种以性别识别作为辅助任务的学习方法,挖掘并利用额外的潜在信息,帮助模型区分不同情感类别。(2)针对类别决策边界模糊和数据集难易样本不平衡问题,本文提出了加性角惩罚焦点损失函数。该损失函数引入角度惩罚因子来严格限制决策边界条件,以提高类内紧密度和类间差异度,并引入焦点因子来根据样本的难易程度调整分配给样本的损失,以促使模型更加关注容易被误分类的困难样本。从两个角度出发进行优化,从而指导模型在训练过程中学习得到更加有效的情感差异特征,提升语音情感识别模型的性能。通过在IEMOCAP、EMODB和SAVEE三个数据集上的实验,验证了该损失函数的有效性,且以该损失函数训练的模型在性能上具有显著的优势。(3)针对情感信息来源单一的问题,本文提出了基于图像、文本和音频信息融合的多模态语音情感识别方法。区别于一般的单模态方法,该方法结合了卷积神经网络提取的声谱图特征、预训练语言模型BERT提取的文本嵌入特征以及预训练声音模型VGGish提取的音频特征,通过综合利用不同模态所蕴含的丰富情感信息,能够更好地捕捉不同情感类别之间的差异特征,再结合性别识别辅助任务与加性角惩罚焦点损失函数,进一步提高模型的识别性能。本文提出的基于加性角惩罚焦点损失函数的多模态语音情感识别模型相比基准模型提高了3%的加权准确率和5%的未加权准确率,并且优于先进方法的表现。

关键词：深度学习多模态语音情感识别辅助任务学习加性角惩罚焦点损失函数

基于迁移学习的城市道路交通图像语义分割研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于迁移学习的城市道路交通图像语义分割研究

作者：熊峻峰南京航空航天大学

学位级别：硕士

智能交通系统作为智慧城市的重要组成部分,需要更强大的场景信息识别能力以及更高的识别性能。语义分割是实现图像理解的基础技术,可以为智能交通系统提供更有效的场景分析工具。常见机器学习算法要求训练数据集和测试数据集的概率分布... 详细信息

智能交通系统作为智慧城市的重要组成部分,需要更强大的场景信息识别能力以及更高的识别性能。语义分割是实现图像理解的基础技术,可以为智能交通系统提供更有效的场景分析工具。常见机器学习算法要求训练数据集和测试数据集的概率分布满足独立同分布(IID)条件,但是在许多城市交通道路场景中此条件并不成立,导致在训练数据集上训练完成的模型部署到实际应用场景中时,性能出现显著下降,因此本文在分析城市道路交通图像语义分割中三种迁移情况的基础上,研究了基于迁移学习算法的城市道路交通语义分割模型和算法,以提高模型迁移部署时的性能。参考常见公共数据集的结构,基于鹰眼摄像头监控视频采集图像,通过图像人工标注和数据集划分,构建了道路高空监控数据集。通过监控游戏与图形库之间的通信获取虚拟图像,基于自定义脚本实现半自动标注,构建了GTA虚拟数据集。针对三种迁移情况,构建了三种迁移学习数据集。采用主成分抖动和随机图像裁剪拼接等算法实现了以上数据集的增广,扩大训练数据集规模。从注意力机制、辅助任务学习算法、上下文机制、训练算法等方面改进了现有语义分割模型,设计了语义分割网络模型Road Net:基于注意力机制改进恒等残差网络,设计了注意力残差网络;提出了辅助任务学习算法,针对语义分割主任务选取边缘检测、图像重建和显著性检测作为辅助任务,设计了辅助任务网络;基于级联思想和全局池化改进空洞空间金字塔池化,设计了级联空洞空间金字塔池化作为模型的上下文机制;设计了剪枝-初始化-剪枝训练算法,以最大化激发模型的潜力,进一步提升模型性能。在VOC2012、Cityscapes、道路高空监控数据集上的测试结果表明:Road Net的平均交并比分别为86.2%、84.5%、51.8%,比现有语义分割模型提升3.3%、3.7%、2.7%,证明了模型Road Net的有效性。从领域差异度量、上下文语义分布模块、对抗训练算法等方面研究面向语义分割模型的迁移学习算法,结合Road Net设计了面向语义分割的迁移学习网络模型Trans Road Net:通过加入度量损失的迁移学习网络模型训练测试,确定采用最大均值差异衡量迁移数据集中源域与目标域间的差异;设计了语义分布损失和基于上下文语义编码模块的语义分布模块,使模型学习具有域不变性的特征;基于对抗训练思想设计了领域判别器,研究了迁移学习模型的对抗训练算法。测试结果表明:Trans Road Net的平均交并比分别为62.7%、30.6%、35.8%,比未迁移模型分别提升了4.1%、24.4%、12.7%,比现有迁移学习算法提升1.9%、3.7%、4.4%,证明本文算法的有效性。

关键词：语义分割网络模型迁移学习辅助任务学习注意力机制生成对抗网络