基于稳健设计的双向长短期记忆神经网络模型的调优方法
A Tuning Method for Bi-directional Long Short-Term Memory Neural Network Model Based on Robust Design作者机构：山西大学软件学院太原030006 山西大学现代教育技术学院太原030006
出 版 物：《应用概率统计》 (Chinese Journal of Applied Probability and Statistics)
年 卷 期：2022年第38卷第3期
页 面：317-332页
学科分类：02[经济学] 0202[经济学-应用经济学] 020208[经济学-统计学]
基 金：国家自然科学基金项目(批准号:62076156、61806115)资助.
主 题：稳健设计 语义角色识别 长短期记忆神经网络 3×2交叉验证
摘 要：双向长短期记忆神经网络模型在自然语言处理中广泛使用,但其调优问题是使用中的难点.本文以自然语言处理中的语义角色识别任务为例,在双向长短期记忆神经网络模型的调优中,将4个候选特征(词、词性、目标词和位置)和2个超参数(网络的层数和是否在顶层添加CRF分类器)看作稳健设计中的因子,设置各因子的水平,进行实验来选择特征和超参数的最优配置组合.本文在小数据集(6692条带有语义角色标注信息的例句)上以3×2交叉验证来做完全实验,以稳健设计的望大特性信噪比为优化目标,选出了模型的最优配置组合,并采用因子的方差分析,定量分析了各因子对模型性能的影响,使得模型有一定的可解释性.为了验证本文选出的最优配置组合的优良性,采用传统方法,在大数据集(约4万条例句)上以自然语言处理中常用的标准切分8:1:1,基于传统的贪心策略调优方法选出最优配置组合,并与本文方法在测试集进行比较,验证了本文的调优方法优于传统的调优方法.
维普期刊数据库
同方期刊数据库