基于数据的故事复述评分标准的效度验证

作     者：徐鹰 李小东 王浦程 XU Ying;LI Xiao-dong;WANG Pu-cheng

作者机构：华南理工大学外国语学院广东广州510641 广东外语外贸大学外国语言学及应用语言学研究中心广东广州510420 浙江外国语学院应用外语学院浙江杭州310023 

出 版 物：《解放军外国语学院学报》 (Journal of PLA University of Foreign Languages)

年 卷 期：2023年第46卷第5期

页      面：11-19,29,160页

学科分类：0502[文学-外国语言文学] 050201[文学-英语语言文学] 05[文学] 

基　　金：国家社会科学基金项目“数据驱动的英语语音能力评估标准创建研究”(22BYY089) 

主　　题：故事复述 评分标准 效度验证 构念效度 

摘      要：本研究采用Knoch(2009)评分标准效度验证框架,从信度、构念效度和实用性3方面收集证据对基于数据的故事复述评分标准进行了效度验证。定量数据包括5位评分员评60份考生录音的分数,定性数据包括他们提供的评分理由和评分后的回溯性访谈。定量分析结果表明:该评分标准区分度较好;虽然评分标准3个维度的难度具有显著差异,但不存在非拟合或过度拟合的情况。定性分析结果表明:评分员能准确理解并合理运用该评分标准进行评分,不存在评分理由和评分标准不相关的情况;他们认为该评分标准可操作性强,能充分表征任务构念。