基于多智能体的众包建模与定价算法研究

作     者：商瀚方 

作者单位：大连海事大学 

学位级别：硕士

导师姓名：陈荣

授予年度：2022年

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 

主      题：众包激励机制 强化学习 动态定价 众包仿真环境 

摘      要：随着大数据时代的到来,互联网技术的飞速发展极大的影响各大企业的发展模式,使得越来越多的工作方式由公司内部专人解决变为了工作外包化。众包模式应运而生,这种具有很强的可扩展性和高效性的工作模式使它能够支持各类任务。众包服务的驱动力是参与者之间互动,为此众包领域的研究者们提出了各种激励机制来吸引并留住更多的参与者,从而提供可持续的众包服务。这些激励机制支持了每天数以百万计的众包任务的交换报酬服务。定价对激励机制很重要,然而由于市场很复杂,现有的激励机制不仅缺乏足够实验使用的数据集,而且没能全面的利用环境信息以及在定价时考虑工人的心理价格。围绕这个问题,本文从众包仿真环境和任务动态定价两个方面展开研究,实现了众包仿真环境Mesa X,并提出了基于强化学习的任务动态定价算法。首先,本文实现了一个众包仿真环境,用来模拟众包环境中工人和任务之间的交互过程。该环境可以根据操作者的配置生成众包环境,实时的可视化展示环境中工人和任务的位置分布,并收集环境中的数据通过折线图进行实时展示。该环境具有很强的扩展性,在环境后台,可以根据需求嵌入不同的马尔可夫决策模型和不同的强化学习算法。与其他仿真环境相比,Mesa X的参数配置更加全面,并添加了实时展示工人和任务位置、环境数据等功能。此环境不仅可以用于普通的众包环境仿真,还可以用于强化学习算法训练以及测试。在本文中,对众包仿真环境各部分的界面和操作流程进行详细介绍。其次,本文提出了一种基于强化学习的任务动态定价机制,让平台通过对任务价格的调控来影响用户的参与度。本文根据对环境信息的分析设置了任务定价公式和马尔可夫决策模型,使用神经网络调整定价公式中的价格影响因子对任务进行定价,从而使平台能够根据环境动态的得出任务价格。在模型中,将环境中任务的位置、周围的工人和任务数量以及其他环境信息整合成一条向量作为网络的输入,用网络调节定价公式的影响因子的幅度大小作为动作,得出价格后,再根据价格是否在一个正常的价格区间和是否满足工人心理价位两者通过奖励值公式计算而成的数值作为回报值反馈给网络,以任务价格满足工人的心理价格作为目标进行训练,让平台能够根据环境信息动态得出一个合适的任务价格。最后,本文将该算法嵌入到众包仿真环境Mesa X中,并对所有工人设置拟人的选择任务行为,在仿真环境上对算法进行训练以及测试该环境的仿真程度。