科技评审中评分偏差模型的研究与应用

作     者：唐光杰 

作者单位：中南大学 

学位级别：硕士

导师姓名：张祖平

授予年度：2012年

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 07[理学] 070104[理学-应用数学] 0701[理学-数学] 

主      题：评分偏差 t-testⅡ 争议度 惯性偏差 信息熵 

摘      要：随着科学技术的发展,科技项目研究成果不断的涌现,对这些项目进行的科技评审,是否能合理规划科研资源变得越来越为人们所关注。科技评审工作的开展已逐步由原有的“计划审批向“同行评议的方法转变。评审工作的公平与公正也逐渐成为人们关注的热点。如何保证这些科研项目的评审能更加客观、公平、公正的进行,是科技评审研究中的重要课题。 论文从科技评审的公平与公正出发,提出了科技评审的评分偏差模型,通过对评分偏差的计算分析,找出异常评分偏差,计算项目的争议性信息,分析专家的评分惯性,最后综合这些信息对异常评分进行修正。导致异常偏差的原因有很多,主要有：偏好偏差,争议性偏差和惯性偏差。评分偏差模型针对这三种偏差,首先通过改进的异常检测模型t-test Ⅱ找出评分中存在异常偏差的评分;然后计算项目的争议度,确定这些异常偏差是否由项目的争议性引起;接着分析专家的评分惯性,依据专家评分与项目得分的相关系数,以及专家历史评分偏差确定专家是否存在评分惯性偏差;消除争议性偏差和惯性偏差的影响后,对仍然存在异常偏差的评分进行修正论文引入信息熵作为评分修正的波动参数,使异常评分修正后的偏差波动符合该专家历史评分偏差波动。 论文提出评分偏差模型挖掘评审中有用的评审信息。利用专家的历史评分信息修正异常评分,从评分数据的角度为评审的公平与公正提供更多的监督,以及客观的评分修正建议。通过对科技评审项目3年的评审数据进行计算分析,找出了项目中存在异常偏差的专家评分,计算项目的争议度和专家的惯性偏差,论文利用信息熵对异常评分进行了修正。实验结果显示评分偏差模型能够有效地找出异常偏差,并对项目争议性和专家评分惯性进行较好的分析,给出较合理的修正意见。评分偏差模型在科技评审中的应用将有助于评审的公平与公正,为评审工作者提供更多的评审信息支持评审工作健康的开展。