国内外大模型在情感分析中对比与应用策略

作     者：张泽华 柴豪 

作者机构：重庆邮电大学经济管理学院 重庆邮电大学现代邮政学院 

出 版 物：《重庆工商大学学报(自然科学版)》 (Journal of Chongqing Technology and Business University(Natural Science Edition))

年 卷 期：2024年

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 081203[工学-计算机应用技术] 08[工学] 081104[工学-模式识别与智能系统] 0835[工学-软件工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家自然科学基金(62272077) 重庆市教委人文社科研究项目(22SKJD086) 重庆市城市管理科研项目(2024035) 

主　　题：中文情感分析 自然语言处理 大语言模型 少样本学习 预训练语言模型 

摘      要：【目的】为大语言模型在中文情感分析和自然语言处理的实际应用提供策略参考，针对国内外大语言模型在多维中文情感分析任务中的性能进行评估对比。【方法】分别选取国内模型GLM-4、Qwen-max和国外模型ChatGPT的对话生成模型gpt-3.5-turbo和文本生成模型gpt-3.5-turbo-instruct，并以零样本学习和少样本学习两种形式评测模型在情感分类、方面级情感分析和攻击性言语检测三类情感分析任务上的5个数据集性能，并以微调预训练语言模型Bert based chinese为基线评估模型。【结果】国产大语言模型在情感分类任务上的准确率最高达到基线模型的97.33%，提供少样本学习示例有助于提升大语言模型的准确率，提升幅度介于0-39%，但在细粒度情感分析任务上大语言模型的准确率仍不及基线模型，最高为其82.63%。【结论】在中文情感分析任务中，国产大语言模型优于国外大语言模型，但大语言模型只适用于粗粒度任务，成本低且精度略低于微调预训练语言模型的方式。高精度任务仍需使用预训练语言模型微调，但可利用大语言模型优化流程。由于大语言模型的快速迭代更新，该评测结果具有一定的时效性限制。