检索结果-南通市图书馆

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

个性化图像美学质量评估研究

个性化图像美学质量评估研究

作者：江佳俊武汉科技大学

学位级别：硕士

个性化图像美学评估的目的是预测个人对图像的独特审美,其在图像推荐、图像编辑美学等行业具有良好的应用前景。近年来,对该领域研究逐渐兴起,但是还面临以下挑战。首先,从个性化美学数据来看,由于美学评价问题本身的复杂性,数据的人工... 详细信息

个性化图像美学评估的目的是预测个人对图像的独特审美,其在图像推荐、图像编辑美学等行业具有良好的应用前景。近年来,对该领域研究逐渐兴起,但是还面临以下挑战。首先,从个性化美学数据来看,由于美学评价问题本身的复杂性,数据的人工标注非常耗时费力,造成目前可用的个性化美学评价数据集（特别是评分数据集）规模小,且评价数据往往存在一定偏差。其次,从个性化美学质量评价方法的可扩展性来看,一部分方法缺乏采集新用户的图像审美偏好的机制,只能面向已建模的用户进行评估;而其它方法虽然可以通过强化学习等方式建立新用户审美偏好,但仍有各自的局限性。最后,大部分方法存在评估指标单一且只从图像本身特征和整体布局进行评估,没有考虑主体对美学评估重要的影响等问题。针对这些问题,本文对个性化图像美学质量评估方法进行了研究,主要研究内容如下:（1）设计了一种基于注意力机制的个性化图像美学质量评估方法,在原有的个性化图像美学质量评估方法上引入了注意力机制。将主体的显著性因素加入评分过程。注意力机制的加入大大提高了模型的准确率,克服了只从图像本身特征和整体布局进行评估的局限性。在Flickr数据集上的实验表明,与其它传统方法相比,本方法在SROCC（Spearman rankorder correlation coefficient）指标上提升了3%。（2）设计了一种新的基于优选图像对的用户美学偏好表示方法,并基于该方法提出了一个基于决策树的交互式用户美学偏好分类机制。基于优选图像对的用户美学偏好表示不需要用户耗费精力进行精确的美学评分分数标定,是一种规则明确而统一的、对用户友好且高效的、可解释性强的用户美学偏好表达方式。本文基于该偏好表达方式通过训练建立了用户分类决策树。只需进行少量的简易反馈就能对新用户偏好进行建模。以上这些策略有效解决了前述的个性化数据存在的问题,在一定程度上克服了新用户建模的困难,提高了方法的可扩展性。在FLICKR数据集上的实验表明,该方法的用户个性化偏好分类准确有效。（3）设计了一个基于多任务的个性化美学评分系统MTPAA（MultitaskingPersonalised-aesthetic-assessment）,该系统将通用美学评价等级、图像风格、通用美学评价分布、通用美学评价分数和个性化美学评价分数等多个美学评价标签作为输出任务集成到一个完整的系统中,通过一种分阶段多任务训练方式,实现了高效和全面的美学质量评价。此外,系统中还融入了前述的基于决策树的交互式用户美学偏好分类机制,克服了评估指标单一的问题,提高了系统的可扩展性。在Flickr和AVA等数据集上的实验表明,由SROCC指标可以看出本系统不仅在每个任务上与其他方法相比性能稍有提升,而且实现了美学评估结果的多样性,扩大了网络的应用场景范围,另外由于采用分阶段的多任务的实现方式,大大降低了训练代价。

关键词：图像美学质量评估注意力机制残差网络个性化决策树多任务

融合启发式图像区域关系与深度神经网络的图像美学质量评估与裁剪

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

融合启发式图像区域关系与深度神经网络的图像美学质量评估与裁剪

作者：刘坤祥华中师范大学

学位级别：硕士

计算美学是通过计算机方法构建人类审美感知的模型,量化现实物体的美感程度。随着人们对美的追求愈来愈强烈与计算美学在日常生活领域的潜在实际价值,计算美学逐渐成为研究者们的热门研究课题。研究计算美学有助于在教育领域与社会商业... 详细信息

计算美学是通过计算机方法构建人类审美感知的模型,量化现实物体的美感程度。随着人们对美的追求愈来愈强烈与计算美学在日常生活领域的潜在实际价值,计算美学逐渐成为研究者们的热门研究课题。研究计算美学有助于在教育领域与社会商业活动,指导学生绘画学习、帮助设计师判断海报元素美观程度、辅助摄影师对当前取景画面进行美学质量评价与裁剪等,为观看图像的人们提供更好的视觉享受。所以,研究计算美学与实现性能优异、可落地应用的图像美学模型具有商业价值与人文价值。其中,图像美学质量评估与图像自动裁剪是计算美学的两大研究方向。图像美学质量评估(Image Aesthetic Quality Assessment)是具有挑战性的计算机视觉技术,其研究内容是让计算机模拟人类视觉感官对现实中的各类图像(如风光、人像、动物等)进行审美,准确量化图像美学质量。图像自动裁剪(Image Automatic Cropping)旨在通过逐渐从图像周围的边缘进行切割,去除多余部分从而达到重新构图的目的,用于提高图像美学质量的常用图像编辑方式。为了解决目前图像美学质量评估方法中的部分局限性,例如均化评估、未引入多物体间的位置关联等。本文提出新的基于图卷积神经网络的图像美学质量评估框架,名为G-AANet。本文设计的G-AANet包含三个模块:深度图像卷积特征提取网络、图卷积网络、美学质量分数分布匹配。深度图像卷积特征提取网络,由多层次多样式卷积层组合而成,用于提取图像局部特征与全局特征。图卷积网络对图像各区域信息进行运算,输出预图像美学质量分数分布,考虑了图像中各区域关联性。美学质量分数分布匹配模块,用于解决均化评估的问题。本文设计的G-AANet在大型图像美学质量评估数据集AVA上训练与测试,取得优异的实验结果。以往的大多数方法的裁剪过程产生并运算大量无用的候选框,不仅消耗大量算力与时间,也容易出现最佳裁剪框不在候选框内的问题。为了解决这两个问题,本文受到人类现实生活中裁剪图像过程的启发,将裁剪图像过程看作马尔科夫序列决策问题。本文提出一个基于深度强化学习算法(名为Advantage Actor-Critic(A2C))的简单轻量级框架,名为LA2C。LA2C包含智能体、图像裁剪环境、推出存储。LA2C方法模拟人类裁剪图像过程,根据当前裁剪图像下一次裁剪动作的判断,对图像进行多次裁剪动作,实现实时级、高效、合理的自动裁剪。本文提出的LA2C方法在公开的Flickr裁剪数据集(FCD)上进行评估和实验,IoU指标结果表明,与以往的自动裁剪工具相比,本文的方法以更少的裁剪步骤和时间达到了优异的性能。本文的两个工作在计算美学领域中,可应用在美学教学、摄影、设计等领域,推动了计算美学中图像美学质量评估与图像自动裁剪的发展,具有实用意义和社会价值。

关键词：计算美学图像美学质量评估图像自动裁剪深度强化学习图卷积神经网络

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

领域自适应在图像美学质量评估中的应用

领域自适应在图像美学质量评估中的应用

作者：万子涓郑州大学

学位级别：硕士

图像的美学质量指的是图像所呈现的“美感”,是图像的重要属性。图像美学质量评估旨在让计算机通过学习来模拟人类的审美能力,能够自动地对任意给定图像的美学质量做出客观评价。图像美观与否通常是一个相对主观的问题,人类审美行为具... 详细信息

图像的美学质量指的是图像所呈现的“美感”,是图像的重要属性。图像美学质量评估旨在让计算机通过学习来模拟人类的审美能力,能够自动地对任意给定图像的美学质量做出客观评价。图像美观与否通常是一个相对主观的问题,人类审美行为具有复杂性和差异性,这使得图像美学质量评估任务极具挑战性,逐渐成为计算机视觉领域的热门研究课题。提取可用的美学特征是图像美学评估的关键。近年来,深度学习技术因其强大的学习能力和特征表达能力,显著地提高了图像美学评估的性能。但基于传统深度学习的图像美学评估方法仍然存在以下问题:（1）深度学习模型的良好训练依赖于大规模的有标签数据集,而目前可用于美学评估的有标签数据十分有限,人工为图像标注美学标签易掺杂主观因素且代价昂贵。（2）深度学习模型的训练数据和测试数据需要满足独立同分布的基本假设,这在实际任务中通常难以满足。当训练数据和测试数据的分布差异较大时,传统深度学习算法训练的模型无法很好地迁移到具有不同数据分布的新领域上。（3）现有的图像美学质量评估方法大多局限于单领域的图像美学评价,并没有有效利用相关领域的知识来辅助图像美学质量评估任务。领域自适应是迁移学习的一种典型的方法,旨在充分利用相关源域中的标记数据来执行目标域中的任务,可以有效缩小领域间分布差异,使模型在具有不同数据分布的领域具有更好的泛化性,为解决上述问题提供了有效途经。尽管领域自适应已在计算机视觉的多个领域得到了较好的应用,但目前在图像美学质量评估任务上研究还较少。因此,本文将无监督域适应方法应用于图像美学质量评估任务中,研究了图像美学质量评估中的领域自适应问题,以期能利用相关领域的标记样本,提高模型在目标领域的分类效果。具体研究工作如下:（1）本文提出一个基于自训练的对抗域适应模型（ADA-ST）。由于目标域样本标签的缺乏,大多数现有的无监督领域适应方法在训练模型时没有充分的考虑目标域样本类别信息,目标域和源域的条件分布没有明确对齐,模型在目标域数据上的分类准确性无法得到保证。针对现有方法存在的不足,本文在对抗域适应的训练过程中引入一种自训练机制,为目标域样本预测伪标签,并根据预测的置信度,逐步选择可靠的伪标签目标域样本添加到训练集,参与模型的迭代训练。通过自训练方法,可以利用目标域中潜在的类别信息,使模型对目标域样本的类别具有更好的可分性。（2）本文针对领域自适应算法在图像美学质量评估中的应用进行研究。首先分析了传统图像美学质量评估模型的跨领域泛化性,证明在图像美学质量评估任务上探究跨域自适应的必要性。然后将本文所提出的领域自适应模型ADA-ST应用于图像美学质量评估任务中,在相关数据集上对方法效果进行评估。此外,本文在图像美学评估数据集上研究对比了多种典型的领域自适应算法的有效性,并分析影响美学质量评估模型泛化能力的因素。

关键词：图像美学质量评估领域自适应自训练伪标签深度学习卷积神经网络

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于深度神经网络的图像美学质量评估研究

基于深度神经网络的图像美学质量评估研究

作者：刘慧慧山东大学

学位级别：硕士

图像美学质量评估旨在学习一个模型,自动地将给定的图像分类为高质量或低质量。其关键任务是找到合适的图像表示方法,使之能够建立图像内容和美学质量之间的关联。由于其在模式识别和计算机视觉领域的潜在应用价值,正逐渐成为热门的研... 详细信息

图像美学质量评估旨在学习一个模型,自动地将给定的图像分类为高质量或低质量。其关键任务是找到合适的图像表示方法,使之能够建立图像内容和美学质量之间的关联。由于其在模式识别和计算机视觉领域的潜在应用价值,正逐渐成为热门的研究课题之一,并吸引了越来越广泛的关注。除了在图像搜索、图像筛选以及图像编辑等领域发挥了不可忽视的作用之外,图像美学评估在海报设计、文稿设计、服装设计、建筑设计等其他领域也有着广阔的应用前景。因此,设计有效的算法提高图像美学评估的性能已成为一个非常迫切的问题。本文的第一个工作是基于用户社交行为的图像美学质量分类研究。美学评估的关键任务是提取到合适的美学特征。特征提取工作从早期的手工设计特征到近期的深度神经网络自动提取特征,已使得美学评估的性能得到了显著的提高。然而,在特征使用上,现有思路使用的都是图像的视觉内容,并没有考虑人类对图像的认知信息。目前,互联网的发展以及大量社交媒体平台的出现,我们可以得到大量的拥有用户行为信息的社交图像。社会心理学研究表明,人类的认知过程与人类所做出的行为是相互关联的,因此本文提出从用户的社会行为信息中挖掘用户的认知信息,并用来辅助图像美学质量评估任务。首先,为了降低用户社会行为的不确定性,我们将不同类型的原始社会行为进行聚类,并使用在不同簇上的社会分布来表示每幅社交图像。然后,我们借鉴迁移学习的思想,用社交图像训练一个社会行为检测器,并将其应用于提取普通web图像的用户认知特征。最后,将图像视觉内容与用户认知信息进行特征的融合,以此提高图像美学评估的性能。在两个美学评估标准数据集上的实验结果证明了本文方法的有效性。本文的第二个工作是基于语义混合网络的图像美学质量标记分布研究。在早期的一些工作中,图像往往被赋予一个单个的标签,即高质量或低质量,或者被赋予一个美学得分,图像美学质量评估任务一直被归类为一个二分类任务或者回归任务。然而,美学质量评估作为一种人类精神文化活动,不同的人对同一幅图像会有不同的美学感知,因此二值化的美学标签并不能很好地衡量所有人的审美偏好。与现有的美学分类研究不同,本文的工作基于标记分布学习,即将图像美学量化为在若干个美学等级上的分布表示。本文基于全卷积网络,可以保留输入图像的原始大小而不用将其转换为固定的尺寸,从而规避了损失图像原始美感的风险,进而提高图像美学分布预测任务的性能。此外,考虑到美学感知需要伴随人类对图像的语义理解,本文提出使用图像的语义信息来辅助美学评估任务。本文提出了一种基于标记分布学习的语义感知混合网络来实现上述功能。在两个美学评估标准数据集上的实验结果证明了本文方法的有效性,并展示了保留图像原始大小和使用图像语义信息的作用。

关键词：图像美学质量评估用户社会行为信息标记分布学习全卷积网络

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

多角度自适应的图像美学质量评估

多角度自适应的图像美学质量评估

作者：董哲中国科学技术大学

学位级别：硕士

图像美学质量评估是计算机视觉领域的一大热点课题。该项研究旨在使计算机能够从人的视觉感知角度出发,自动评估图像质量高低,将图片分为“美观”和“不美观”两类。图像美学质量评估技术可以嵌入到图像检索、图像管理、人机交互等系统... 详细信息

图像美学质量评估是计算机视觉领域的一大热点课题。该项研究旨在使计算机能够从人的视觉感知角度出发,自动评估图像质量高低,将图片分为“美观”和“不美观”两类。图像美学质量评估技术可以嵌入到图像检索、图像管理、人机交互等系统当中,以提高用户体验,拥有很高应用价值。通过对图像美学质量评估技术的深入研究,本文做出了以下贡献：1).改进当前基于摄影规则构造的图像美学特征;2).将深度学习特征应用于图像美学质量评估;3).将上述从不同角度所获得的特征融合,以用于图像美学质量评估;4).改进美学质量评估框架,构造自适应的图像美学质量评估模型,使其能够根据测试图片的拍摄内容的不同做出适当调整。1).从摄影规则出发,重新设计了一组更加灵活有效,且计算复杂度低的特征描述图像美学属性：该部分通过深入分析与图像美学质量有关的图像属性,锁定现有美学特征的缺陷,打造了一组新特征,与现有美学特征相比,提取速度、有效性及鲁棒性均有大幅提升;2).将深度卷积神经网络用于图像美学质量评估：深度卷积神经网络最初由Krizhevsky及Hinton等人设计提出,结构与人脑视觉系统相仿,原本用于解决传统图像内容分类问题。该网络系统以原始图片作为输入,可自动对图片进行认知学习并提取特征。由于该深度神经网络对图片拥有高度的认知能力,该网络已被推广到诸多计算机视觉问题当中,并且都取得了突破性进展,这里我们将其应用到图像美学质量评估问题中,最终也得到了超出预期的表现;3).利用多核学习方法融合不同美学特征：深度学习特征压缩了图像内容信息,与图像美学质量构成间接关系,其和利用摄影规则人工构造的美学特征,从不同角度描述了图像美学质量,两者间存在一定的互补关系。这里我们利用多核学习技术(MKL)将两者融合,并应用到多层级图像美学质量评估中去,取得了很好的效果,这也是首次有人尝试将不同种类、多视角的图像美学特征加以融合使用：4).利用图像美学质量评估问题本身的特点,从深层次改进当前的美学质量评估框架：从摄影学知识中可以了解到,拍摄不同物体时,常使用不同的相机设定及摄影技巧,因此,对于不同种类的图片,其质量评估标准也应当有所差异。在此,我们构造了基于查询的图像质量评估模型,即每给定一张测试图片,利用检索方法,从训练集中查询得到若干与其内容相似的图片,并以此为该测试图片单独训练评估模型(即找到适合该图片的评估标准),该技术可使评估性能取得较大提升。本文以图像美学质量评估为研究方向,提出了多点创新,并通过大量实验验证其有效性,希望该文章能为以后的研究者带来帮助。

关键词：图像美学质量评估深度学习自适应模型多核学习

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于注意力机制的个性化图像美学质量评估

计算机技术与发展 2021年第10期31卷 56-62页

作者：江佳俊蒋旻杨晓雨郭嘉武汉科技大学计算机科学与技术学院湖北武汉430065 智能信息处理与实时工业系统湖北省重点实验室(武汉科技大学) 湖北武汉430065

图像美学质量评估在图像推荐和图像编辑美学等行业具有良好的应用前景。大部分美学质量评估方法存在两个问题:第一,只建立了通用美学评估模型,而忽略了个性化审美,这样的评估方法只适用于大众审美的评估,无法区分出不用用户之间的差异;... 详细信息

图像美学质量评估在图像推荐和图像编辑美学等行业具有良好的应用前景。大部分美学质量评估方法存在两个问题:第一,只建立了通用美学评估模型,而忽略了个性化审美,这样的评估方法只适用于大众审美的评估,无法区分出不用用户之间的差异;第二,往往只从图像本身特征和整体布局进行评估,没有考虑主体的突出性和位置合理性,由于主体特征对评估结果有较大的影响,以致忽视主体的做法会使得评估结果具有较差的完备性。针对这些问题,文中设计了一种基于注意力机制的个性化图像美学质量评估方法。该方法在个性化残差网络的基础之上引入了注意力机制,既保持了个人在美学质量评估的主观偏好,又将主体的显著性因素加入评分过程。在Flickr数据集上的实验中,该算法的平均SROCC相关系数表现为0.667,相较于单一的图像美学质量评估在Flickr数据集上的表现,性能提升了3%。

关键词：图像美学质量评估注意力机制残差网络个性化深度学习

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

结合图像说明的图像美学描述方法研究

结合图像说明的图像美学描述方法研究

作者：宋兴辉天津工业大学

学位级别：硕士

图像字幕是一种从图像视觉内容到自然语言文本的跨模态转换,涉及计算机视觉(Computer Vision,CV)和自然语言处理(Natural Language Processing,NLP)等相关领域,被广泛的应用于语义图像搜索和多模态图像理解。而图像美学描述(Aesthetic I... 详细信息

图像字幕是一种从图像视觉内容到自然语言文本的跨模态转换,涉及计算机视觉(Computer Vision,CV)和自然语言处理(Natural Language Processing,NLP)等相关领域,被广泛的应用于语义图像搜索和多模态图像理解。而图像美学描述(Aesthetic Image Caption,AIC)任务更趋于主观、多样化、艺术性。由于缺少像图像字幕(Image Caption,IC)任务中如MSCOCO等大型数据集,AIC任务进展很慢。然而,在现实世界中,如果计算机在描述图像内容时,不仅能够准确的描述出图像的关键信息,还能以一种流畅、美的形式表达出来,这对摄影指导、图像智能推荐、对话系统都有着重要意义。为了探究这一问题,论文结合图像字幕提出了一种结合图像说明的图像美学描述方法。目前Image Caption领域的深度学习模型方法为Encoder-Decoder模型,在训练过程Encoder部分我们应用孪生网络的思想来接收来自两个不同领域的数据集。来自两个领域的图像信息经共享参数的孪生CNN网络后,将提取到的图像特征向量融合成一个含两个图像信息的特征向量。在训练Decoder部分,将输入到孪生网络的两个图像信息的文本描述特征按照顺序结合成一个向量特征进行训练。依照机器翻译的思想就实现了模型对两个领域的数据集进行学习。在测试阶段,由于模型的孪生网络是共享参数的,CNN网络已经具备提取两个数据集关注的图像视觉特征及图像美学特征的能力。所以我们去掉一个网络,在CNN提取完图像特征后,复制图像特征进行融合来保持输入维度一致,然后送到解码Decoder模型中。实验结果表明,我们的方法实现了传统图像字幕(IC)和图像美学描述(AIC)任务的结合,并取得了较好的结果。由于图像美学字幕的弱标签问题,我们应用深度学习的Encoder-Decoder模型无法更进一步对数据集进行学习,模型性能受到了局限,所以为了提高模型的性能,我们应用强化学习GAN网络思想,构建深度强化学习模型,使用多模态判别器和语言风格判别器对生成的描述进行判定,得到奖励分数,构建策略梯度机制进一步对Encoder-Decoder模型参数进行更新,加强了模型对数据的学习。从理论到实践,均表明我们提出的结合图像说明的美学描述方法更适合图像美学描述任务发展的研究方向。同时我们提出的模型也较为有效的为这项任务提供了通用方法。

关键词：图像字幕图像美学描述图像美学质量评估深度学习强化学习深度强化学习孪生网络对抗网络

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

图像美学质量分布预测与排序

图像美学质量分布预测与排序

作者：龙玉娇中国科学技术大学

学位级别：硕士

近年来,图像美学已经成为社交媒体网站和媒体资源库中视觉内容管理的重要指标,图像美学质量评估也成为计算机视觉领域中的热门话题。以往关于美学预测模型的研究主要集中在美学评分回归或美学二值分类上,没有考虑到美学评估的主观性问... 详细信息

近年来,图像美学已经成为社交媒体网站和媒体资源库中视觉内容管理的重要指标,图像美学质量评估也成为计算机视觉领域中的热门话题。以往关于美学预测模型的研究主要集中在美学评分回归或美学二值分类上,没有考虑到美学评估的主观性问题。人们由于主观偏好的不同对于图片的审美倾向也各不相同,单一的美学评分或类别标签不足以表征用户审美偏好之间的分歧。考虑到原始的美学注释是以分数直方图的形式呈现,其提供的信息比二进制标签或平均分数更丰富、更精确。因此,本文采用基于美学评分分布的表示形式来描述图片的美学质量,通过研究发现美学评分均值在不同范围内的图片,其美学评分分布模式也具有差异性。于是本文提出了一种多通道加权网络来预测图像美学质量分布,该网络通过对不同美学分布模式的预测结果进行加权得到最终分布预测结果。本文在目前最大的美学数据集AVA上进行分布预测实验,并和目前已有的美学质量分布预测算法进行对比,实验结果表明本文提出的算法得到了最优的美学质量分布预测结果。进一步,通过公式可以很容易地将预测的美学分布转化为美学评分或者美学类别,并且与目前已有的美学质量分类或回归算法进行比较。结果表明本文提出的网络模型虽然仅针对分布预测任务进行训练,但是在美学质量分类、美学评分回归这两项经典任务中都得到了最优的结果。随着图像美学质量评估在图像检索、图片编辑等一些实际应用中的流行,基于图片美学质量进行图片对比排序这样的评估方式相比于二分类或者评分回归会更加合理。然而目前的美学排序任务其美学特征的提取都是预定义的特征或者深度网络进行排序训练自主学习的特征,这样的特征无法充分描述图像的美学属性。本文通过实验证明了进行美学评分分布预测训练的网络其提取出的美学特征在美学二分类、回归和分布预测任务中都起到了很好的美学属性表达效果。为了优化网络对图片美学质量特征的提取,本文设计了一种同时预测图片美学质量分布和图片相对排序评分的多任务模型,该模型利用原始图像美学质量分布监督信息优化对图片美学特征的提取,并采用双通道网络对输入的图片对进行对比排序。同样在AVA数据集上和目前已有的美学排序算法进行对比实验,实验结果证明本文提出的多任务模型提取出的美学特征更有效,得到了更优的排序性能。

关键词：图像美学质量评估美学评分分布预测图像质量相对排序

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于深度学习方法的城市视觉计算研究

基于深度学习方法的城市视觉计算研究

作者：杨文雅山东财经大学

学位级别：硕士

随着城市化进程的推进,城市在发展中遇到的问题也逐渐凸显出来,如治安紊乱、绿化率低、以及宣传不到位等。为了有效解决这些问题,本文开展了城市视觉计算研究,该研究旨在利用图像处理、计算机视觉等技术对城市相关的可视媒体数据进行分... 详细信息

随着城市化进程的推进,城市在发展中遇到的问题也逐渐凸显出来,如治安紊乱、绿化率低、以及宣传不到位等。为了有效解决这些问题,本文开展了城市视觉计算研究,该研究旨在利用图像处理、计算机视觉等技术对城市相关的可视媒体数据进行分析,并将结果用于解决城市发展中出现的问题,进而推动城市的繁荣与进步。首先,为了做好城市宣传,本文提出了基于深度学习方法的图像美学质量评估研究。该研究旨在将图像的语义信息加入到图像美学质量评估过程中,与图像的美学信息以及场景信息相结合共同用于图像美学质量评估。基于此,构建了三种分支流网络,用于提取图像的语义特征、场景特征以及通用美学特征,并将这三种特征作为混合网络的输入以输出图像美学质量得分,得到通用图像美学质量评估网络模型。在此基础上,进一步探究了个性化图像美学质量评估,将个人喜好添加到图像美学质量评估过程中,利用在社交媒体平台收集的专业图像和用户交互数据,开发了用于个性化美学评估的深度神经网络体系结构。此外,遵循协同过滤的思想以及社会主流审美准则解决了数据稀疏性和不可靠性的问题。实验结果证明了本文方法在图像美学质量评估研究中的有效性。其次,为了做好城市决策,本文提出了基于深度学习方法的城市视觉属性感知研究。该研究旨在通过图像成对比较的方式将感知任务转化为排序任务,并利用图像的属性激活图强调了语义信息在城市视觉属性感知任务中的重要性,进而将图像的语义信息与通用特征相结合,共同用于城市视觉属性感知任务。通过可视化技术从预训练好的感知网络中获得的语义相关性矩阵充分验证了语义信息对城市视觉属性感知任务的重要意义。此外,利用得到的语义相关性矩阵进行零样本学习,进一步预测城市图像在未知属性上的感知得分。在城市视觉属性感知基准数据集上的实验结果表明了本文方法的优越性。本文将上述得到的图像美学质量评估模型以及城市视觉属性感知模型用于城市发展建设中,以帮助城市规划者做好城市宣传以及城市决策。

关键词：城市视觉计算深度学习方法图像美学质量评估语义信息城市视觉属性感知零样本学习