基于深度多模态关联学习的短视频多标签

作     者：李云 卢志翔 刘姝伊 王粟 吕梓民 井佩光 

作者机构：天津大学电气自动化与信息工程学院 广西大学计算机与电子信息学院 南宁学院人工智能与软件学院 广西财经学院大数据与人工智能学院 广西民族大学电子信息学院 

出 版 物：《数据分析与知识发现》 (Data Analysis and Knowledge Discovery)

年 卷 期：2024年

核心收录：

学科分类：0810[工学-信息与通信工程] 12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 08[工学] 081104[工学-模式识别与智能系统] 081001[工学-通信与信息系统] 0835[工学-软件工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家自然科学基金(项目编号:61861014) 国家自然科学基金(项目编号:61802277) 国家自然科学基金(项目编号:62361002) 博士启动基金(项目编号:BS2021025)的研究成果之一 

主　　题：多模态融合 语义增强 图卷积网络 短视频 

摘      要：[目的]该研究充分利用模态互补性，增强模态之间和模态与标签之间的相关性，以实现高度准确的分类效果。[方法]该研究提出了一种基于多模态语义增强及图卷积网络的创新短视频多标签分类算法，算法将多模态学习和标签语义学习融合于同一网络框架中。[结果]本文通过大量的实验分析，验证了提出算法的有效性，算法分类精度达到87%，与最优的基准算法相比，分类精度提升了6.82%。[局限]模态融合增强信息存在冗余信息，这些冗余掩盖了模态之间的相关性；此外，在基于模态的多标签分类方面，相关研究较为有限。[结论]该算法成功提升了模态之间的互补性，增强了模态与类别之间的相关性，并提高了分类的准确性。