检索结果-南通市图书馆

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

考虑用户兴趣和能力的众包任务推荐方法

系统工程理论与实践 2017年第12期37卷 3270-3280页

作者：仲秋雁张媛李晨李岳阳大连理工大学信息管理与信息系统研究所大连116024

众包平台的信息过载使工人面临任务选择的困难.针对众包特征,本研究提出一种考虑工人兴趣和能力的任务推荐方法.该方法基于协同过滤推荐思想,首先通过TF-IDF技术构建考虑兴趣偏好的工人模型,然后将基于胜任力理论分析构建的工人KSAO能... 详细信息

众包平台的信息过载使工人面临任务选择的困难.针对众包特征,本研究提出一种考虑工人兴趣和能力的任务推荐方法.该方法基于协同过滤推荐思想,首先通过TF-IDF技术构建考虑兴趣偏好的工人模型,然后将基于胜任力理论分析构建的工人KSAO能力集合融入到模型中,构建新的工人模型;在此基础上,利用余弦相似性、Jaccard相似性和改进的余弦相似性公式,计算工人间融合兴趣和能力的综合相似度,依此来选取近邻集并最终生成推荐.利用猪八戒网采集的数据进行实验,结果表明该方法的有效性,并通过对比实验证实该方法比传统协同过滤方法推荐效果更佳.从推荐视角丰富众包任务选择的研究,对于众包中解决信息过载、增进个性化体验等具有一定的现实意义.

关键词：众包任务推荐工人模型 KSAO 协同过滤

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

众包系统中工人与任务的建模研究

众包系统中工人与任务的建模研究

作者：韩光阳西南大学

学位级别：硕士

众包技术是伴随着互联网的普及而出现的新型工作模式,即外包工作给互联网工人。随着机器学习技术的发展,标注数据集的缺乏日益成为性能瓶颈。传统的专家标注数据方式耗时费力,众包以其廉价、快速的特点成为标注海量数据集几乎唯一可行... 详细信息

众包技术是伴随着互联网的普及而出现的新型工作模式,即外包工作给互联网工人。随着机器学习技术的发展,标注数据集的缺乏日益成为性能瓶颈。传统的专家标注数据方式耗时费力,众包以其廉价、快速的特点成为标注海量数据集几乎唯一可行的方法。然而由于众包工人和任务的缺陷,结果中往往带有噪声,如何从嘈杂的众包结果中挖掘出高质量的数据成为研究热点。目前的众包研究主要关注质量控制和成本控制问题,而完善的工人与任务模型是解决这两个问题的共同基础。现有的工人与任务模型还存在着一些问题:1)在模型的建立阶段,因为数据量小而易受噪声或波动的影响;2)在模型的更新阶段,孤立地更新工人和任务模型而忽视了二者之间的相互影响;3)在模型稳定前,因为缺乏对工人和任务的全局了解,难以排除低质工人和简单任务的继续参与,不合理的预算配置和任务分配,造成了预算浪费和噪声混入等问题。本文关注众包过程中的工人和/或任务的建模问题,分别针对以上三个问题展开了研究。从借助迁移学习建模任务和工人、建模工人与任务的相互影响这两个角度展开探讨。在理清工人和任务模型之后,本文进一步探讨了使用机器学习技术替代低质工人的可行性,本文的主要研究内容如下:1、基于迁移学习的众包任务建模:预算和质量是众包的两个重要问题,二者之间的平衡至关重要。归纳法和推理法是人类获得知识的主要方法,而迁移学习可以促进归纳和推理过程。当面对完全陌生的新任务时,人们可能对它缺乏足够的了解,但与之相关的知识却很容易获得,这可以帮助人们增加对新任务的理解。因此,通过适当的知识迁移,可以以较小的代价获得更高质量的标注结果。基于这一理念,本文开发了基于多源域迁移学习的众包方法(Crowd MKT),该方法将知识从多个相似但不同的领域转移到新任务领域中,并减少不相干的领域知识的负面影响。Crowd MKT首先利用多源知识迁移学习到任务的低维高级特征向量,然后引入概率图模型,联合建模任务高级特征、工人能力及其标注之间的关系。最后,采用期望最大化(EM)算法来评估工人的能力和标注质量。在真实的图像和文本数据集上的实验结果证明了Crowd MKT在提高标注质量和节省预算方面的有效性。2、工人和任务的相互影响建模:依据工人和任务的自身特点可以将他们各自划分为许多类型,如何对工人和任务之间的交互作用进行建模是一个研究热点。本工作根据工人的能力将其分为四种类型:专家型、普通型、粗心型和恶意型,并根据任务的难度将任务分为难、中、易三类。本文认为,即使是专家也会在困难的任务上犯难,而即便是粗心的员工也能答对简单的任务,恶意工人则总是在能力范围内故意给出错误的答案以破坏众包系统。因此,好的考核任务应该具有适度的难度,以便更客观地评价工人能力。基于以上想法,本文首先主要在中等难度的任务上对工人的能力进行评分,然后在推断任务的标签时,减少粗心工人的答案权重,并修正恶意工人的答案。本文采用概率图模型模拟任务的执行过程,并采用迭代方法依次计算和更新任务标签、工人能力和任务难度。本文在仿真和真实众包数据集上验证了算法的正确性和有效性。3、分类器替代低质工人的研究:在线工人的不可靠性是影响众包结果质量的关键因素之一。近年来,元学习为小样本学习带来了新的活力,使得仅用少量的训练样本就可以获得性能较好的分类器成为可能。在本工作中,本文引入元工人(通过元学习训练的机器分类器)的概念,它用于处理非常适合AI的众包任务类型(如图像分类)。相比普通的众包工人,元工人不仅可靠、稳定、不知疲倦,而且还完全免费。本文首先将未标记数据聚类,并要求众包工人多次标注聚类中心附近的实例;然后,本文在标记数据和辅助数据集上,使用不同的元学习算法构建一个元工人集群;随后,元工人集群对剩余的众包任务进行标注,本文使用Jensen-Shannon(JS)散度来衡量元工人的标注之间的分歧度,它决定了是否应该雇佣互联网工人对同一任务进行补充标注。最后,本文对所有工人的能力进行建模,通过加权多数投票(WMV)得出任务标签。本文的研究证实,通过结合机器和人类的智能,可以以较低的预算完成众包项目,同时保持结果的质量。综上所述,首先针对模型冷启动问题,本文提出了使用多源迁移学习来辅助任务和工人建模,有效增强了模型的鲁棒性;其次在模型更新阶段,本文开发了工人-任务交互模型来综合考虑工人与任务的交互影响,使得模型更加合理和真实;最后在充分了解工人与任务模型后,本文探讨了使用元学习分类器来替代部分低质量工人的可行性,为低价高质地完成众包项目进行了开创性的尝试。

关键词：众包迁移学习工人模型任务模型元学习

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

考虑工人参与意愿影响因素的众包任务推荐

考虑工人参与意愿影响因素的众包任务推荐

作者：李晨大连理工大学

学位级别：硕士

随着竞争式众包平台中工人数量和发包方数量的不断增加,信息过载的问题日益严重,如何有效地为工人进行任务推荐成为亟欲解决的问题。传统任务推荐方法仅依据工人对任务的投标记录构建工人兴趣模型,并以此对工人进行任务推荐,但工人对任... 详细信息

随着竞争式众包平台中工人数量和发包方数量的不断增加,信息过载的问题日益严重,如何有效地为工人进行任务推荐成为亟欲解决的问题。传统任务推荐方法仅依据工人对任务的投标记录构建工人兴趣模型,并以此对工人进行任务推荐,但工人对任务的投标与否本质上是由工人的参与意愿决定。因此,本研究基于传统推荐方法的研究以及竞争式众包中工人参与意愿影响因素研究,提出一种考虑工人参与意愿影响因素的竞争式众包任务推荐方法,并补充相应方法来缓解任务推荐过程中的数据稀疏问题。首先,基于工人参与意愿影响因素研究,采用User-based协同过滤框架,从工人维度和发包方维度将工人的参与意愿影响因素表示为工人的收益偏好、素质能力以及对发包方的信任,并结合工人历史行为记录以及相关描述信息对各维度影响因素进行衡量,在此基础上构建工人模型。其次,根据工人模型,引入可调节系数?、?分别对工人在预期收益、素质能力以及对发包方信任进行相似度计算,同时引入融合系数?计算工人综合相似度,并在此基础上确定工人k近邻集合并根据加权平均法产生任务推荐列表。同时,针对上述任务推荐方法在推荐过程中存在的数据稀疏问题,本研究提出融合工人k近邻的神经网络任务推荐方法来进行缓解。该方法首先将工人特征与任务特征通过特征嵌入层进行处理,然后将工人k近邻中的工人向量、任务向量作为神经网络输入层的输入,并通过训练集中工人历史投标纪录进行模型训练。最终根据训练好的模型生成数据稀疏条件下的任务推荐列表。最后,根据一品威客众包平台中的真实数据进行实验,验证了本研究中综合考虑工人的预期收益、素质能力以及对发包方信任等工人参与意愿影响因素构建工人模型,并基于此对工人进行任务推荐是合理有效的;同时,融合工人k近邻的神经网络任务推荐方法可以有效缓解任务推荐过程中的数据稀疏问题,且在任务推荐模型搭建过程中,通过特征嵌入层对工人和任务特征进行处理是有必要的。本研究将工人参与意愿影响因素与任务推荐相结合,拓展了传统推荐方法在众包推荐领域的应用,丰富了众包任务推荐的研究视角,同时对于解决竞争式众包中的任务推荐问题、提高众包活动中知识和劳动的交易效率提供了有效的解决方法。

关键词：竞争式众包任务推荐工人模型协同过滤数据稀疏

基于最大似然估计的众包质量控制优化方法研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于最大似然估计的众包质量控制优化方法研究

作者：郑妙山东大学

学位级别：硕士

众包能够通过利用数十万网络中的工人（即人群）的智慧来解决计算机难以有效解决的问题,如实体解析、情感分析和图像识别问题。尤其在为机器学习和数据挖掘领域提供人类智能支持方面已经非常成功,它们通过在公共众包平台（如Amazon Mech... 详细信息

众包能够通过利用数十万网络中的工人（即人群）的智慧来解决计算机难以有效解决的问题,如实体解析、情感分析和图像识别问题。尤其在为机器学习和数据挖掘领域提供人类智能支持方面已经非常成功,它们通过在公共众包平台（如Amazon Mechanical Turk（AMT）、Crowdflower 和 Upwork）上发布标注任务来收集用于训练各种机器学习和数据挖掘系统的标记数据。由于众包中的工人可能具有不同水平的专业知识,未经培训的工人可能无法完成某些任务,甚至一些恶意的工人可能会故意给出错误的答案,众包可能会产生相对低质量的结果。因此,需要一些质量控制策略来保证众包任务结果的质量,即在收到工人的对于任务的回答后,对工人的质量建模,然后根据工人质量推测出任务的真实答案。现在已有的众包质量控制方法主要利用EM方法最大化似然值来估计工人的质量以及任务的真实答案。然而,基于EM的方法往往只是局部最优的解决方案,并且估计结果会受到初始值的影响。所以,本文提出了面向全局最优结果的众包质量控制优化方法来解决以上问题。本文主要针对于基于最大似然估计的众包质量控制优化问题进行了深入研究。首先,提出了基于最大似然估计的众包质量控制局部最优算法,利用EM方法最大化似然值对工人的质量以及任务的真实答案进行评估,分别提出了基于静态和动态工人模型的众包质量评估算法。其中静态工人模型是用概率值或者概率矩阵来表示工人的质量。动态工人模型中工人的质量受到任务难度的影响并且符合函数分布,动态工人模型能够更加详尽的体现工人的质量随影响因素的变化规律。在对工人质量建模后,利用EM方法最大化似然函数估计出工人模型的参数以及任务的真实答案。然后,本文在EM方法的局部最优结果的基础之上进行优化,提出了一个以似然最大为目标的众包质量控制近似全局最优算法。该优化算法由一个任务优势排序模型和一个迭代近邻搜索算法组成,通过进一步似然最大化来提高任务真实答案估计的准确性。任务优势排序模型可以帮助删减劣势的任务-答案组合,并且保留优势的任务-答案组合;迭代近邻搜索算法能够在一个邻域内找到具有最大似然值的任务-答案组合。本文提出的优化算法在最大化似然值的同时提供了工人的质量和任务的真实答案估计的准确性。最后,本文采用了模拟数据集和在AMT平台上收集的关于情感分析任务的真实数据集,通过大量的对比实验评估了本文提出的众包质量控制局部最优算法以及近似全局最优算法。实验结果表明,本文提出的方法能够得到更高质量的估计结果。另外,我们实现了一个众包APP作为实验平台,该实验平台能够管理和发布移动众包任务（例如商场打折信息标注任务）并收集移动众包数据,还可以通过该平台来应用众包质量控制相关算法。

关键词：众包质量控制工人模型 EM 最大似然估计优化算法

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

考虑工人兴趣和能力的众包任务推荐方法研究

考虑工人兴趣和能力的众包任务推荐方法研究

作者：张媛大连理工大学

学位级别：硕士

在互联网的开放环境下,众包平台中的飞速发展带来了信息过载问题,使工人面临着任务选择的难题。由于任务搜索难以满足工人的个性化需求,任务推荐作为解决信息过载的有效方法,得到了更广泛的讨论与研究。因此,基于传统领域推荐方法的研... 详细信息

在互联网的开放环境下,众包平台中的飞速发展带来了信息过载问题,使工人面临着任务选择的难题。由于任务搜索难以满足工人的个性化需求,任务推荐作为解决信息过载的有效方法,得到了更广泛的讨论与研究。因此,基于传统领域推荐方法的研究和对众包及工人行为特征的分析,本研究提出一种综合考虑工人兴趣和能力的任务推荐方法,并补充方法分别实现工人冷启动和任务冷启动下的推荐。首先,基于协同过滤推荐思想,考虑工人兴趣和能力的任务推荐方法第一步需要构建工人模型。基于众包工人行为特征的分析,首先通过TF-IDF技术构建考虑兴趣偏好的工人模型,然后将基于胜任力理论分析构建的工人KSAO能力集合融入到模型中,构建能够同时描述兴趣和能力的工人模型。然后,在工人模型基础上,进行综合相似度的计算以及最终产生推荐。利用余弦相似性、Jaccard相似性和改进的余弦相似性公式,并引入计可学习的权重系数α、β和融合系数θ,计算工人间融合兴趣和能力的综合相似度,依此来选取工人的近邻集并最终生成top-N任务推荐列表。然后,基于上述方法不能解决的新工人及新任务的推荐问题,提出冷启动条件下的任务推荐优化。针对工人冷启动,结合新工人在众包平台中的注册信息,提出基于工人档案信息的推荐方法;针对任务冷启动,结合基于内容的推荐算法思想,利用LDA主题模型挖掘新老任务的内容主题,再综合任务的类型,提出基于任务内容和类型的推荐方法。最后,利用猪八戒网采集的数据进行实验,结果表明本研究提出方法的有效性,并通过对比实验证实,相比于传统协同过滤推荐方法以及传统冷启动推荐方法,本研究的方法取得的推荐效果更佳。本研究在理论上从推荐视角丰富了众包任务选择的研究,同时对于众包中解决信息过载问题、增进用户个性化体验等方面具有一定的现实意义。

关键词：众包任务推荐工人模型协同过滤冷启动

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

众包技术中开放性答案的决策算法研究

众包技术中开放性答案的决策算法研究

作者：暴雨晴北京交通大学

学位级别：硕士

现实生活中往往存在一些计算机难以处理或者处理效果不佳的问题,如给图像打标签、判断两个记录是不是同一个实体等。众包直接将这些问题发布到互联网上,通过集合互联网上的未知大众来解决这些传统计算机难以单独处理的问题。已有的答案... 详细信息

现实生活中往往存在一些计算机难以处理或者处理效果不佳的问题,如给图像打标签、判断两个记录是不是同一个实体等。众包直接将这些问题发布到互联网上,通过集合互联网上的未知大众来解决这些传统计算机难以单独处理的问题。已有的答案决策方法存在一定的局限性:一方面,以往工人的质量模型矩阵大小是固定的,仅适用于候选答案固定的情形。另一方面,众包平台上的问题类型有填空题、选择题（分单选题和多选题）、选择和填空的混合等,以往的答案决策算法主要是基于单选题提出的,不能兼容多种答案类型,尤其无法处理包含开放性答案的问题。针对以上问题,本文综合考虑多种答案类型,提出了一种基于贝叶斯的开放性答案决策算法。首先,利用工人以往表现,建立了工人质量模型,该模型不受候选答案个数影响;其次,利用Jaro-Winkler Distance方法计算填空答案间的相似度,以此将填空内容扩展为候选选项,决策时考虑到了填空答案间的相互影响,认为相似度较大的一组答案很可能为相同的答案。此外,以往的决策中,候选答案的先验概率是未知的,本文根据机器算法给出的先验知识以及扩展答案情况,对候选答案的先验概率进行了预处理。相关实验表明,本文的决策算法能够综合处理多种答案类型,对开放性答案以及先验概率的处理,提高了算法的准确性。由于多选题答案决策过程是一个NP-hard问题,本文对多选题的答案决策算法提出了基于剪枝的优化策略,减少了需要计算后验概率的候选答案个数。相关实验表明,本文的优化策略,在保障决策算法准确一致的情况下,降低了算法的运行时间。

关键词：众包平台质量控制答案决策工人模型贝叶斯模型剪枝策略

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

一种基于众包平台的医学图像分类方法

一种基于众包平台的医学图像分类方法

作者：赵胜男哈尔滨工程大学

学位级别：硕士

医学影像学的普遍应用以及计算机应用的普及,促使医疗信息化的快速发展和各类医学影像的数据量激增。单凭人工的分析和抽象能力已无法对这类激增的庞大医疗影像数据进行分析和处理。如何分析和挖掘这类医疗影像数据信息,从而找到蕴含在... 详细信息

医学影像学的普遍应用以及计算机应用的普及,促使医疗信息化的快速发展和各类医学影像的数据量激增。单凭人工的分析和抽象能力已无法对这类激增的庞大医疗影像数据进行分析和处理。如何分析和挖掘这类医疗影像数据信息,从而找到蕴含在医学影像数据中的有价值信息和知识,以辅助医生更高效、准确的开展医疗诊断工作,已成为当前医学图像数据挖掘的主要工作。脑部CT图像作为医学影像数据中的重要组成部分,对其历史数据进行分类从而预测图像类别,可以辅助医生对病人的病情得到判断并根据相似病史提出建议治疗方案。目前常用的分类方法中,主要包括朴素贝叶斯、神经网络、决策树算法等。而在以往工作中,仅通过改进传统算法本身来提高分类效率,但这种改进方式也使得算法的优化出现瓶颈。在众多分类算法中,单一阈值分类算法（如:弱对称性性分类算法）虽然在脑部CT图像分类过程中性能较好,但该类算法中在阈值附近产生错误分类概率较高且通过改进算法来提高准确率的效果并不理想。因此需要引入其他方法来解决这类问题。众包凭借利用群体智慧解决问题的性能优于计算机这一特点吸引了各个领域的关注,包括信息检索、人工智能、图像处理等领域。利用众包进行图像分类准确率高,但因其开销巨大不能够得到广泛应用。利用计算机与众包相结合的方式对医学图像进行分析处理等工作,对提高医生工作效率和整体医疗水平显然有着无可比拟的优越性。本文的主要工作内容如下:（1）本文采用机器算法与众包理念相结合的方式,提出了传统图像分类算法与众包平台相结合的框架,并给出一种范围阈值算法将单一阈值分类算法中出现分类错误率较高的部分提取出来由众包平台完成,从而彻底解决了在单一阈值分类算法中不可避免的问题。（2）鉴于目前匮乏针对处理医疗信息相关的众包平台,医学图像分类结果难以及时收集,因此本文设计实现了一个面向医学图像分类的众包平台以完成后续的医学图像分类工作。（3）为进一步提高众包平台中分类结果的准确率,本文针对框架中的两个阶段分别提出了工人质量评估模型和工人表现预测模型,本文将根据两种模型对工人进行任务分配。

关键词：医学图像范围阈值众包图像分类工人模型

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于工人多技能的实时众包任务分配

基于工人多技能的实时众包任务分配

作者：乔梁上海交通大学

学位级别：硕士

众包平台致力于将一些复杂的难以由计算机解决的任务分配给一些众包工人来完成,汇集了人类和计算机共同的智慧,是目前非常热门的主题。在众包平台的任务分配中,为了得到一个更高的效率和更好的效益,需要做到将合适的任务分配给合适的某... 详细信息

众包平台致力于将一些复杂的难以由计算机解决的任务分配给一些众包工人来完成,汇集了人类和计算机共同的智慧,是目前非常热门的主题。在众包平台的任务分配中,为了得到一个更高的效率和更好的效益,需要做到将合适的任务分配给合适的某个工人或一组工人来完成。为了达到这个目的,需要解决三个方面的问题,一是在任务分配之前的众包工人建模,它是众包任务高质量分配的基础;二是实时众包任务分配的算法,它是众包任务高质量分配的核心;三是对众包任务质量的提升,它是众包任务高质量的补充。为了解决这些问题,本文的主要工作和形成的主要成果如下。首先,我们形式化地定义了一个基于反馈的协作众包任务分配问题,同时证明了它的复杂性为NP难。接下来,针对于众包工人建模问题,我们定量地建立了两种模型用来度量众包工人的技能和匹配度。一种是针对于任务与单个多技能工人的匹配,另一种是针对于任务与协作的一组工人的匹配。在第三部分,结合前面提出的技能模型,我们研究了具体的众包任务分配算法FCCSA。这个算法将技能高的工人尽量平均分配给了不同任务,同时动态更新系统对于工人的技能和亲密度信息,从而完成动态的任务分配。第四部分中,我们针对某一类众包任务提出了一种基于主动学习的质量提升方法,这个方法主要依据于一个双向主动学习的框架,在众包工人的工作当中适当加入了“黄金样本”,同时重做一些之前的任务。根据不同行为可能带来的未来收益,我们提出了BSWT算法,可以在众包任务的过程中,既提升了众包工人技能水平,又提升了众包任务质量。最后,我们设计了多组实验,均在真实众包平台上运行的实验。实验主要分为两个主要部分,第一部分使用复杂众包任务,共同测试了我们的工人模型和任务分配算法,其中包括了一次性的问卷实验,和长时间运行的实验。实验的结果均表明了我们提出的工人模型与FCC-SA算法与相关工作相比,可以得到更佳的任务匹配质量。第二部分的实验基于打标签众包任务,主要测试了我们提出的BSWT算法与其他相关主动学习算法的性能比较,实验结果表明了,我们的BSWT算法使得分类器训练得到最好的训练结果,同时提高了众包工人的技能水平。

关键词：众包工人模型任务分配主动学习