基于强化学习的数据交易四方演化博弈研究——数据安全视角

作     者：樊荣荣 

作者单位：中南财经政法大学 

学位级别：硕士

导师姓名：岳晓

授予年度：2022年

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 081104[工学-模式识别与智能系统] 08[工学] 0835[工学-软件工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主      题：数据交易 演化博弈 系统动力学 强化学习 Q-Learning 

摘      要：随着大数据时代的到来,数据资源的价值逐渐受到关注与认可,人们对于数据交易的需求也在日益增加。然而,我国目前的数据交易仍面临着诸多问题,其中,数据交易过程中的数据安全问题是重中之重。类似于传统的商品交易,数据交易也是多方参与主体相互促进、相互制约的演化博弈过程。因此,本文从数据安全角度出发,展开对数据交易四方参与主体的演化博弈研究。本文基于数据安全角度,首先,结合数据交易的发展现状和现有研究,将政府、数据交易平台、数据购买者以及数据供应者作为研究对象,分析各个参与主体在数据交易过程中的角色定位与利益诉求;其次,利用演化博弈理论,构建数据交易四方演化博弈模型,对参与主体进行复制动态分析与均衡稳定分析;再次,鉴于系统的复杂性与博弈的动态性,结合系统动力学方法,建立数据交易四方演化博弈SD模型并进行模拟仿真,探究各方初始策略与关键因素对数据交易演化稳定趋势的影响;最后,针对演化博弈SD模型中存在的问题,基于多智能体强化学习理论,构建了基于Q-Learning的演化博弈改进模型,并提出一种负反馈惩罚机制,以改善数据交易中参与主体的演化博弈结果。研究表明:(1)数据交易是涉及政府、数据购买者、数据交易平台以及数据供应者等多方参与主体的复杂系统,数据交易的发展及数据安全的实现是参与主体相互制约、反复博弈的结果;(2)各个参与主体的初始策略选择都不同程度地影响数据交易演化的稳定趋势。在收益固定的情况下,如果某一参与主体以较高的初始概率选择积极策略进行数据交易,那么其他主体通过对自身的策略选择进行调整与优化,在确保自身收益最优的前提下也会选择积极策略,最终数据交易四方演化博弈达到稳定状态。(3)数据交易中的收益、成本、损失、声誉、惩罚是影响四方策略选择的重要因素,增加收益、降低成本、合理设置奖惩力度以及降低额外损失是调动四方主体进行数据交易并保障数据安全积极性的重要举措。(4)在不同的负反馈系数下,基于Q-Learning的演化博弈改进模型可以有效地改善数据交易参与主体的演化路径,从而促进数据交易的良性发展。