语言学知识驱动的空间语义理解能力评测数据集研究

作     者：詹卫东 孙春晖 肖力铭 Zhan Weidong;Sun Chunhui;Xiao Liming

作者机构：北京大学中文系北京100871 

出 版 物：《语言战略研究》 (Chinese Journal of Language Policy and Planning)

年 卷 期：2024年第9卷第5期

页      面：7-21页

学科分类：0501[文学-中国语言文学] 0303[法学-社会学] 050102[文学-语言学及应用语言学] 03[法学] 030303[法学-人类学] 05[文学] 

基　　金：教育部人文社会科学重点研究基地重大项目“面向机器语言能力评测的综合型语言知识库研究”(22JJD740004) 

主　　题：人工智能 大语言模型 语言学知识 空间语义理解 数据合成 

摘      要：近20年来,深度学习技术显著提升了机器的自然语言处理能力,使之在诸多任务上接近甚至超过人类水平。机器学习的对象不再是直接来自人类语言学研究成果(知识),而是人类语言材料(数据)。在靠数据和算力驱动的大语言模型几近建成巴别塔的当下,语言学家通过深挖语言现象总结的语言学知识价值何在?本文提出从知识到数据的研究思路,设计了空间语义理解的6项任务:空间信息正误判别、异常空间信息识别、缺失参照成分补回、空间语义角色标注、空间表达异形同义判别、空间方位关系推理,以构建中文空间语义理解能力评测数据集为例,介绍从SpaCE2021到SpaCE2024数据集的设计思想、数据集制作概况以及机器在空间语义理解任务上的表现。总的来看,参加SpaCE赛事的大语言模型,在依赖表面分布特征(形式线索)的任务上容易获得好成绩,在依赖深层语义理解(认知能力)的任务上容易表现不好。因此,在人工智能高速发展使得语言学知识在计算机信息处理领域被动边缘化的当下,语言学知识的价值需要拓展,即用于指导小而精的高品质语言数据,以提升机器学习的效果和效率。为了计算应用的目的,语法研究应该在观察充分、描写充分、解释充分之上,追求更具挑战性的目标——生成充分。