基于大语言模型的多输入中文拼写纠错方法
作者机构:贵州大学文本计算与认知智能教育部工程研究中心 贵州大学计算机科学与技术学院 贵州轻工职业技术学院信息工程系
出 版 物:《计算机应用》 (Journal of Computer Applications)
年 卷 期:2025年
学科分类:12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 081203[工学-计算机应用技术] 081104[工学-模式识别与智能系统] 08[工学] 0835[工学-软件工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术(可授工学、理学学位)]
基 金:国家自然科学基金资助项目(62066007) 贵州省科技支撑计划项目(2022277)
主 题:中文拼写纠错 大语言模型 模型集成 模型微调 提示学习
摘 要:中文拼写纠错是自然语言处理中的一项重要研究任务,现有的基于大语言模型的中文拼写纠错方法由于大语言模型的生成机制,会生成和原文存在语义偏差的纠错结果。为此,提出基于大语言模型(LLM)的多输入中文拼写纠错方法。该方法包含多输入候选集合构建和LLM纠错两阶段。第一阶段将多个小模型的纠错结果构建为多输入候选集合;第二阶段使用LoRA(Low-Rank Adaptation)对LLM进行微调,借助大语言模型的推理能力,在多输入候选集合中预测出没有拼写错误的句子作为最终的纠错结果。在公开数据集SIGHAN13、SIGHAN14、SIGHAN15和修正后的SIGHAN15上,相较于使用LLM直接生成纠错结果的方法 Prompt-GEN-1,所提方法的纠错F1值分别提升9.6、24.9、27.9和34.2个百分点,相较于表现次优的纠错小模型分别提升1.0、1.1、0.4和2.4个百分点,验证了所提方法能提升中文拼写纠错任务的效果。