基于改进稳定扩散模型的蓝印花布纹样生成

作     者：王子祥 贾小军 冉二飞 许聪源 

作者机构：浙江理工大学信息科学与工程学院 嘉兴大学信息科学与工程学院 浙江理工大学计算机科学与技术学院(人工智能学院) 

出 版 物：《光电子·激光》 (Journal of Optoelectronics·Laser)

年 卷 期：2024年

学科分类：0821[工学-纺织科学与工程] 08[工学] 080203[工学-机械设计及理论] 0802[工学-机械工程] 082103[工学-纺织化学与染整工程] 

基　　金：浙江省自然科学基金资助项目(No.LQ23F020006) 

主　　题：蓝印花布 稳定扩散模型 低秩自适应算法 判别网络 

摘      要：针对非物质文化遗产蓝印花布纹样的数字化传承与创新技术缺乏问题，提出一种基于改进的稳定扩散模型的蓝印花布纹样生成方法，通过文生图和图生图技术实现蓝印花布单纹样和多纹样的主动生成。对于蓝印花布纹样数据集较少，无法训练出大模型难题，提出将稳定扩散模型和低秩自适应算法（low-rank adaptation， LoRA）微调网络结合，训练出具有蓝印花布特征的LoRA微调网络；对于稳定扩散模型输出具有随机性问题，提出将稳定扩散模型与判别网络相结合，对生成的图片进行判断，筛选出符合蓝印花布特征的纹理图片。实验结果表明，通过关键提示词或图片，可以生成具有纹样语义信息和图片特征的蓝印花布新纹样。