基于强化学习的立体全景视频自适应流

作     者：兰诚栋 饶迎节 宋彩霞 陈建 LAN Chengdong;RAO Yingjie;SONG Caixia;CHEN Jian

作者机构：福州大学物理与信息工程学院福州350108 福建省媒体信息智能处理与无线传输重点实验室福州350108 

出 版 物：《电子与信息学报》 (Journal of Electronics & Information Technology)

年 卷 期：2022年第44卷第4期

页      面：1461-1468页

核心收录：

学科分类：0810[工学-信息与通信工程] 08[工学] 081001[工学-通信与信息系统] 

基　　金：国家自然科学基金(62001117) 福建省自然科学基金(2017J01757) 

主　　题：立体全景视频传输 多智能体强化学习 视点预测 联合码率控制 

摘      要：针对当前立体全景视频传输缺少有效的流自适应方法,且传统全景视频流自适应策略传输双目立体全景视频使得传输数据加倍,所需带宽巨大的问题,该文提出一种基于多智能体强化学习的立体全景视频非对称传输自适应流方法,以实时应对网络带宽波动。首先,根据人眼对视频显著性区域的偏爱,左右视点中每个瓦片(tile)对立体视频的感知质量的贡献度不同,提出一个基于tiles的左右视点观看概率预测方法。其次,设计了一种基于策略-评价(Actor-Critic)的多智能体强化学习框架,对左右视点进行联合码率控制。最后,根据模型结构和双目抑制原理,设计合理的奖励函数。实验结果表明,与传统流自适应传输策略相比,该文所提方法更加适用于基于tiles的立体全景视频传输,实现在有限带宽下提高用户的体验质量(QoE),为立体全景视频联合码率控制提供了一种全新的方法和思路。