针对大语言模型生成的密码应用代码安全性分析

作     者：郭祥鑫 林璟锵 贾世杰 李光正 GUO Xiangxin;LIN Jingqiang;JIA Shijie;LI Guangzheng

作者机构：中国科学技术大学网络空间安全学院合肥230027 中国科学院信息工程研究所北京100085 

出 版 物：《信息网络安全》 (Netinfo Security)

年 卷 期：2024年第24卷第6期

页      面：917-925页

学科分类：08[工学] 0839[工学-网络空间安全] 081201[工学-计算机系统结构] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家自然科学基金 国家重点研发计划[2020YFB1005803] 

主　　题：大语言模型 密码应用安全提示词 密码误用检测 

摘      要：随着大语言模型在软件开发领域的广泛应用,在提升开发效率的同时也引入了新的安全风险,特别是在对安全性要求较高的密码学应用领域。文章针对大语言模型提出了一个密码应用安全评估的开源提示词库LLMCrypto SE,该词库包含460个密码场景自然语言描述提示词。同时,通过对大语言模型生成的代码片段进行深入分析,着重评估了密码API使用不当的情况,采用静态分析工具CryptoGuard结合人工的方法进行审查。在评估ChatGPT3.5、文心3.5和星火3.5等主流大语言模型时,文章对生成的1380个代码片段进行了密码误用检测,发现52.90%的代码片段至少存在一处密码误用,其中星火3.5大模型表现较佳,误用率为48.48%。文章不仅揭示了当前大语言模型在密码应用代码安全性方面所面临的挑战,还为模型的使用者和开发者提出了一系列增强安全性的建议,旨在为大语言模型在密码领域的推广应用提供实践指导。