一种基于自学习的迁移学习模型及应用

作     者：杨贺林 

作者单位：大连理工大学 

学位级别：硕士

导师姓名：李凤岐

授予年度：2017年

学科分类：08[工学] 080203[工学-机械设计及理论] 0802[工学-机械工程] 

主      题：迁移学习 自学习模型 深度学习 

摘      要：深度学习已经在图像分类任务上取得了显著的成效,但是,深度学习通常都会预设要求所有样本的数据里含有该样本对应的标签或类别信息,这在现实环境中很难满足。故而迁移学习被提出,迁移学习通常解决源数据和目标数据分布不一致的问题。迁移学习加之深度神经网络的拟合能力,对于图像分类等任务有着很好的处理能力和效果。但现有迁移学习算法均严重依赖人工经验,适用范围较窄。本文试图通过自动化模块代替参数系统和模型生成方式,提出了一种自学习的深度迁移学习模型。在参数系统方面,针对神经网络通常需要人工干预过拟合问题,本文首先提出了一个动态的参数系统模型--自学习的dropout可变分布模型STDropout,用以提高模型整体防止过拟合的能力。该模型能够根据样本特点动态调整参数设置,提高整体的防过拟合能力。STDropout的实验部分,采用了标准任务和数据集,证明了STDropout比通常的固定设置有更好的分类准确率和防止过拟合的效果。在模型生成方式,针对现有算法对样本的分布估计较为主观且效果不佳的问题,本文提出了一种带有NN的自学习深度迁移模型STLN。这种模型的损失函数带有神经网络模块,能够根据评估迁移的数据,进而改进损失函数效果。并且本文提出了一种在线化应用,将前述STLN模型应用到了在线服务当中,将STLN用于指导在线加价服务。该模型实验部分,对标准数据集做了混合,在目标任务中加入其它类别数据,设置成迁移学习任务,并进行了对比实验,证明了本文提出的STLN模型的高效性和准确性。在标准任务以外,还将自学习的迁移学习模型做了在线化应用,用来解决在线数据的处理,并通过在线效果证明了在线化的有效性。