中文去毒任务的研究

作     者：刘江盛 左家莉 胡玉婷 万剑怡 王明文 

作者机构：江西师范大学计算机信息工程学院 

出 版 物：《山西大学学报(自然科学版)》 (Journal of Shanxi University(Natural Science Edition))

年 卷 期：2024年

学科分类：081203[工学-计算机应用技术] 08[工学] 0835[工学-软件工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家自然科学基金(61866018) 

主　　题：文本风格迁移 文本去毒 大语言模型 

摘      要：文章旨在研究如何有效去除中文文本的毒性。针对此任务，文章重构了一个中文毒性语料集，以此作为任务研究的数据基础。基于此数据集文章探究了文本的毒性表现形式，同时对特定类别的毒性文本成因展开了分析。基于上述分析结果，文章使用基于编辑式、生成式两类文本风格迁移模型进行文本去毒，并进一步探究了大语言模型基于不同Prompt时去除文本毒性的表现。据实验结果表明，基于编辑式的模型能有效去除显式毒性文本的毒性，且具有较高的内容保存度，生成式模型生成的文本则有更高的流畅度。基于Prompt的大语言模型在一定程度上可以去除句子毒性，但相较于特定的风格迁移模型而言，小参数大语言模型的去毒能力还有待提高。