检索结果-南通市图书馆

检索条件"主题词=自适应稀疏变送器"

共 1 条记录，以下是1-10 订阅

全选清除本页清除全部题录导出标记到"检索档案"

详细简洁

排序：

网络数据上的随机效应时变霍克斯点过程研究

网络数据上的随机效应时变霍克斯点过程研究

引用

作者：高悦中国石油大学(北京)

学位级别：硕士

如今,医疗、金融、社交网络等各个领域都会产生大量的事件序列数据。人们通过这些数据预测下一个发生事件的类型和发生时间,其中最基本的方法是霍克斯点过程(Hawkes Process,HP)。随着递归神经网络(Recurrent Neural Network,RNN)在语... 详细信息

如今,医疗、金融、社交网络等各个领域都会产生大量的事件序列数据。人们通过这些数据预测下一个发生事件的类型和发生时间,其中最基本的方法是霍克斯点过程(Hawkes Process,HP)。随着递归神经网络(Recurrent Neural Network,RNN)在语言领域对顺序数据处理的成功,人们将RNN引入到点过程里,但RNN不能很好地捕捉事件间的长期依赖关系,而自注意力机制恰好可以解决这个问题。使用自注意力机制的变送器霍克斯点过程(Transformer Hawkes Process,THP)模型的提出大大提升了霍克斯点过程的性能,但THP仍关注不相关事件,这会影响到模型的时间复杂度和准确性,针对上述问题本文提出了三个优化方案。首先,在基本THP模型的时间编码部分中,需同时考虑事件发生时间的周期性和非线性,本文在原有基础上线性叠加非线性激活函数ReLU,提高了模型预测性能。然后又针对THP模型的训练时间长和持久占用内存大的问题,提出了概率稀疏自注意力机制霍克斯点过程(Probsparse Self-attention Hawkes Process,PSHP),只对有依赖关系的相关事件进行计算,将时间复杂度和内存占用均降低至O(Llog L),并保证了模型在长时间序列预测任务中的性能。但PSHP中每个注意力机制头都是一样的,可能导致对某些相关系数低的事件的关注度不足。最后又提出了自适应稀疏变送器霍克斯点过程(Adaptively Sparse Transformers Hawkes Process,ASTHP),ASTHP通过优化α-entmax函数中的神经网络参数α,使得不同的注意力头能够自适应地选择稀疏模式(从softmax到sparsemax),提高了模型的准确性和稳定性,同时,当固定α=1.5时,模型也能有较好的性能表现。本文为比较这些模型与基准模型的性能表现,将所有模型在7个数据集上进行实验,且在同一数据集上不同模型选用的参数是一样的。实验结果表明PSHP和ASTHP都能较好地完成序列预测任务,其中,PSHP更适合对长时间序列进行预测,ASTHP在各实验数据集上都能取得最好的预测结果。

关键词：霍克斯点过程事件序列预测自注意力机制概率稀疏自注意力机制自适应稀疏变送器

来源：

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

全选清除本页清除全部题录导出标记到“检索档案”

共1页 << < 1 > >>

回到顶部

执行限定条件

欢迎您,

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

请选择保存的检索档案：

请选择收藏分类：

通借通还

欢迎您,

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：