基于视音互补语义清晰化的隐私视频动作识别方法

作     者：李泽超 付孝德 潘礼勇 严锐 唐金辉 LI Ze-chao;FU Xiao-de;PAN Li-yong;YAN Rui;TANG Jin-hui

作者机构：南京理工大学计算机科学与工程学院江苏南京210094 

出 版 物：《电子学报》 (Acta Electronica Sinica)

年 卷 期：2024年第52卷第7期

页      面：2170-2182页

核心收录：

学科分类：081203[工学-计算机应用技术] 08[工学] 0835[工学-软件工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家自然科学基金(No.U20B2064,No.U21B2043) 科技创新2030——新一代人工智能重大专项(No.2022ZD0118802)~~ 

主　　题：音视频特征融合 语义清晰化 隐私保护 

摘      要：视频隐私保护是当前社会面临的重要挑战之一,对视频进行模糊处理是保护人们隐私权益的重要手段.由于模糊视频天然缺失视觉模态的信息,主流的视频动作识别算法无法取得令人满意的效果.模糊视频作为多模态介质不仅仅只有视觉模态信息,同时,也含有丰富的音频模态信息,从人类的认知角度而言,音频也是获取信息的重要来源.本文提出一种基于多模态融合的隐私视频动作识别方法,在保证不侵犯使用者隐私的前提下进行人类动作行为识别.具体来说,使用音频-视觉特征融合模块将音频模态特征图融入到视觉模态中,充分融合音视频模态的深层语义信息.除此之外,模型还引入清晰视频帧图像作为标签,在模型训练阶段监督动作识别网络的参数更新,为隐私视频动作识别网络提供清晰的语义信息.在多组隐私行为数据集上,通过大量消融和对比实验验证了所提方法的有效性.