基于空洞单流ViT网络的灵活模态人脸呈现攻击检测方法

作     者：肖立轩 封筠 高宇豪 贺晶晶 Xiao Lixuan;Feng Jun;Gao Yuhao;He Jingjing

作者机构：石家庄铁道大学信息科学与技术学院石家庄050043 

出 版 物：《计算机应用研究》 (Application Research of Computers)

年 卷 期：2024年第41卷第3期

页      面：916-922页

学科分类：08[工学] 080203[工学-机械设计及理论] 0802[工学-机械工程] 

基　　金：国家自然科学基金资助项目(61772070,61972267) 河北省高等学校科学技术研究重点项目(ZD2021333) 

主　　题：人脸呈现攻击检测 灵活模态 多模态 视觉Transformer 

摘      要：灵活模态人脸呈现攻击检测突破传统多模态方法对于模型训练与部署的模态一致性限制,可将统一模型按需灵活部署到多样模态的现实场景,但仍存在模型性能有待提升、计算资源需求高的问题。为此,提出一种以视觉Transformer(ViT)结构为基础的单流灵活模态人脸呈现攻击检测网络。提出空洞块嵌入模块以减少运算冗余,降低输入向量维度;为区分不同模态特征,设计模态编码标记;采用非补齐策略处理模态缺失问题。在公开多模态数据集上的实验结果表明,该方法在域内和跨域评估中分别获得2.69%和33.81%的最佳平均ACER值,相较于现有的三种方法,具有更优的域内和域外泛化性能,在不同子协议上的性能表现较为均衡,且其模型计算量与参数量均远低于多流方法,更加适合模态缺失场景下的灵活、高效部署。