多模态学习方法综述

作     者：陈鹏 李擎 张德政 杨宇航 蔡铮 陆子怡 CHEN Peng;LI Qing;ZHANG De-zheng;YANG Yu-hang;CAI Zheng;LU Zi-yi

作者机构：北京科技大学自动化学院北京100083 工业过程知识自动化教育部重点实验室北京100083 北京科技大学计算机与通信工程学院北京100083 材料领域知识工程北京市重点实验室北京100083 

出 版 物：《工程科学学报》 (Chinese Journal of Engineering)

年 卷 期：2020年第42卷第5期

页      面：557-569页

核心收录：

学科分类：0810[工学-信息与通信工程] 08[工学] 081104[工学-模式识别与智能系统] 0805[工学-材料科学与工程（可授工学、理学学位）] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家重点研发计划(云计算和大数据专项)资助项目(2017YFB1002304)。 

主　　题：多模态学习 统计学习 深度学习 对抗学习 特征表示 

摘      要：大数据是多源异构的.在信息技术飞速发展的今天,多模态数据已成为近来数据资源的主要形式.研究多模态学习方法,赋予计算机理解多源异构海量数据的能力具有重要价值.本文归纳了多模态的定义与多模态学习的基本任务,介绍了多模态学习的认知机理与发展过程.在此基础上,重点综述了多模态统计学习方法与深度学习方法.此外,本文系统归纳了近两年较为新颖的基于对抗学习的跨模态匹配与生成技术.本文总结了多模态学习的主要形式,并对未来可能的研究方向进行思考与展望.