基于视觉感知智能的图形设计技术研究

作     者：张佩迎 

作者单位：华东师范大学 

学位级别：硕士

导师姓名：李晨辉

授予年度：2022年

学科分类：08[工学] 080203[工学-机械设计及理论] 0802[工学-机械工程] 

主      题：视觉显著性 图文布局 美学评估 信息嵌入 图形设计 

摘      要：图形设计作为一种视觉传达的媒介,在生活中得到了广泛的应用。例如风景海报、商品广告、杂志封面、可视化信息图等,这些通过图像、文本、符号组合形成的视觉传达作品,都属于图形设计的范畴。图形设计作品的美观性与各种设计因素息息相关,如背景图像、布局、颜色、字体等,这些因素的排列组合及相互作用,给读者带来了不同的获取信息的感受与审美体验。本文从图形设计中一些具体的场景出发,研究了视觉感知智能技术和美学规则在图形设计方法中的重要性。在图形设计领域,如何自动生成图文布局是一个很有挑战但也很实用的研究问题,它能帮助设计师减少高度重复的排版任务,也能帮助业余用户智能地生成图文海报。针对自然图像上的文本元素自动布局的任务,本文提出了一种基于视觉显著性的候选图文布局生成方法,该方法不仅考虑了图像中各元素的视觉显著性,还考虑了如何在美学规则的约束下生成候选文本区域。在视觉显著性检测网络中,使用基于U-Net的编码-解码网络架构,能同时提取图像全局语义特征和低级细节特征。在候选布局区域生成阶段,利用扩散方程计算出的文本位置概率图,能有效减少候选区域的搜索空间。候选区域生成算法基于文本位置概率图生成候选文本框集合。在生成候选的图文布局后,还需要进行美学评分,选出得分最高的文本区域作为最终的图文布局结果。本文提出了一个基于细粒度美学特征的打分网络,该网络由两个主要模块组成,多尺度特征提取模块和美学特征聚合模块。首先对原始候选文本区域进行扩展,将扩展后的文本区域输入多尺度特征提取模块,得到多尺度特征图。美学特征聚合模块通过Ro IAlign和Ro EAlign操作对文本区域的局部图像特征和图文布局的构图特征进行聚合。对于同一张背景图像,基于细粒度美学特征的打分网络通过共享特征,可以预测出不同候选文本区域的美学分数和排名,推荐最优的布局结果。在进行图形设计的过程中,除了作品本身设计元素能显式传达的信息外,许多应用场景还需要隐式地将一些信息嵌入至图像中,图像信息与文本信息能在同一个载体上便捷地融合,这将是图形设计领域一个非常有价值的应用。本文提出了一种隐式地将信息嵌入至图形设计中的方法。首先设计了一个基于自编码器的图像信息编解码模型,该模型可以在保证图像不失真的情况下,隐式地将用户指定的信息嵌入到图片中。为了进一步支持更大数据量的编解码,本文还结合图形设计的视觉感知特性,提出了一种非显著区域二维码布局算法。最后对编码视觉效果、抗攻击能力、时间开销等方面进行了评估实验,结果表明,该模型可以在各种类型的图形设计中有效地嵌入信息并解码信息。综上,本文以视觉感知技术为基础,所提出的各个方法能在图形设计的多种实际场景中应用,获得良好的视觉效果。