基于大语言模型的司法文本摘要生成与评价技术研究

作     者：裴炳森 李欣 蒋章涛 刘明帅 

作者机构：中国人民公安大学信息网络安全学院 

出 版 物：《数据与计算发展前沿》 (Frontiers of Data & Computing)

年 卷 期：2024年

学科分类：12[管理学] 0301[法学-法学] 03[法学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 030106[法学-诉讼法学] 081104[工学-模式识别与智能系统] 081203[工学-计算机应用技术] 08[工学] 0835[工学-软件工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家重点研发计划-社会治理与智慧社会-子课题“视频监控网络风险识别”(2022YFC3301101-1) 

主　　题：大语言模型 司法文本摘要生成 摘要质量评价 领域调优技术 知识抽取 

摘      要：【目的】随着当前社会科学技术的发展，文本摘要技术被广泛应用在生活中的各个方面，并发挥着重要作用。然而在司法领域中，使用传统深度学习模型生成司法文本摘要存在冗余、信息不一致、对文本语义理解不够等问题；而且现有生成摘要的质量评价方法ROUGE较为单一，仅关注生成摘要与参考摘要之间的重叠，不关注深层语义信息，需要构建新的指标多维评价生成摘要质量。【方法】本文借助知识编辑、参数微调技术构建司法领域垂直大语言模型，生成司法文本摘要，改善传统模型对专业司法文本理解不够的问题；并提出信息缺失因子、信息密度两种评价指标，用大语言模型对摘要实现知识抽取，度量文本知识，根据度量结果计算两类指标，进一步在内在语义层次衡量生成摘要的质量。【结论】通过实验证明，本文提出的基于垂直领域大语言模型生成司法文本摘要的方法有助于改善信息冗余、对专业文本理解能力不够的问题，且提出的两类摘要评价指标从信息一致性、冗余度两方面补充评价了摘要生成质量，丰富了评价摘要的方法。