时空语义驱动的渐进多视角行为去偏置研究

作     者：钟忺 陈亮 刘文璇 叶舒 江奎 王正 林嘉文 

作者机构：武汉理工大学计算机与人工智能学院 哈尔滨工业大学计算机科学与技术学院 武汉大学计算机学院 台湾清华大学电机工程系 

出 版 物：《计算机工程》 (Computer Engineering)

年 卷 期：2024年

学科分类：08[工学] 080203[工学-机械设计及理论] 0802[工学-机械工程] 

基　　金：国家自然科学基金(62271361) 

主　　题：多视角行为识别 渐进式去偏置 证据理论 解耦 多粒度 

摘      要：在实际应用中，单视角摄像头采集数据由于物体存在遮挡而失去对某些区域的可见性，因此结合多个视角下的数据进行行为分析对于维护社会稳定及民生安全至关重要。针对多视角行为识别中存在偏置问题，即不同视角下空间语义不一致导致的视角间行为表征差异以及同一行为执行过程中的时序语义不一致的行为表征差异，提出了一种渐进去偏置的多视角方法。首先在多视角下的同一行为样本中以证据理论为引导，结合不同视角下的行为同构性进行视角间行为去偏置，优化不同视角下关注的行为特征权重，以获得更全面的无偏行为表示。其次结合多粒度解耦策略，分析不同粒度对行为特征无偏表达的影响，准确分离与行为相关和行为无关特征，以避免视角内行为无关信息扰乱行为表征导致的显著差异。最后，在时序维度上构建不同行为特征权重，增强同一视角内行为特征一致性，减弱同一行为的行为表征差异。在多个数据集上验证了所提方法的有效性，其中在N-UCLA和NTU-RGB+D数据集的跨视角准确率分别达到了97.4%和96.4%，本文的方法在满足多视角下对行为识别进行准确分析应用需求的同时，从一种新的去偏置思路为多视角行为识别问题提供了一种有效的解决方案。