基于ResNet-TSM和BiGRU网络的移动视频感知质量评价模型

作     者：杜丽娜 杨硕 卓力 张菁 李嘉锋 DU Lina;YANG Shuo;ZHUO Li;ZHANG Jing;LI Jiafeng

作者机构：北京工业大学信息学部北京100124 北京工业大学计算智能与智能系统北京市重点实验室北京100124 

出 版 物：《北京工业大学学报》 (Journal of Beijing University of Technology)

年 卷 期：2024年第50卷第1期

页      面：18-26页

核心收录：

学科分类：081203[工学-计算机应用技术] 08[工学] 0835[工学-软件工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家自然科学基金资助项目(61531006) 北京市自然科学基金资助项目(KZ201910005007) 

主　　题：视频感知质量评价 平均意见分数 卷积神经网络 时间移位模块 双向门控循环单元 深度时空特征 

摘      要：考虑到卡顿、质量切换、内容特征等因素对用户体验质量的影响都会直接体现在客户端的失真视频里,提出了一种客户端的移动视频感知质量评价模型。该模型无须对每种影响因素均进行表征和度量,而是基于深度特征提取+回归的思路,直接建立失真视频与平均意见分数之间的映射模型。首先,构建了ResNet-TSM网络结构,提取失真视频片段的深度时空特征;为了避免维度灾难,采用LargeVis算法对提取的深度特征进行降维,同时提升特征的表达与区分能力。然后,采用双向门控循环单元网络对视频的长时间依赖关系进行建模,得到各视频片段的打分,再利用时间平均池化方法将各片段分数进行聚合,得到整个视频的打分结果。在WaterlooSQoE-Ⅲ和LIVE-NFLX-Ⅱ数据集上的实验结果表明,提出的模型可以获得更高的预测精度。