情绪体验为中介的声音视觉化实验研究

作     者：陈羽宣 

作者单位：江南大学 

学位级别：硕士

导师姓名：朱文涛

授予年度：2023年

学科分类：1304[艺术学-美术学] 13[艺术学] 

主      题：声音视觉化 跨感官体验 心理反应 情绪体验 视听氛围 

摘      要：在感官体验中,人们对于视觉的敏感度大于听觉,视觉的加入可以让产出整体形成更综合的美学体验,还可以辅助声音信息的传达,让人留下更加深刻的印象。在现代技术的发展下,声音视觉化的实现方法也不断多样化,计算机可以根据音乐的结构特征进行视觉输出,但实现效果容易同质化,会削弱声音的情感表达和视听联觉效果。而探究更具情绪效果的声音视觉化方法,也是研究人员不断追求的目标。本文主要从通感体验与心理情绪反应的角度,探讨将声音的情感体验转化为视觉设计。首先,梳理了视听相关的基础理论与声音视觉化的发展变革,并阐述了声音视觉化的实现与体验方式,总结出可将声音视觉化属性划分为三层,底层物理属性是较为直接的数据呈现,中层导向属性是主观运用客观影响来完成设计作品,而高层情感属性的传达需要更强的主观能动性介入,运用综合的手法进行多感官联动的情绪传达。其次,分析了视听各自的特征与情感的关系,提取出实验的变量,并将图像语义的三个层次作为视听设计模型的底层框架。其中音色是声音中与情感关系最密切的特征之一,声音的快慢、强弱和规律性等物理属性也会对情感产生基础的影响。同时声音也可以象征某些事物,产生心理和情感上的联想和体验,这些因素都会影响人们对音乐情感的判断和体验。然后,在此基础上建立了两个与心理效应相关的视听实验。第一个实验用以验证情绪可以作为声音和视觉的媒介,第二个实验通过收集实验的数据结果,明确了不同情绪的视觉倾向,用以构建模型的视觉特征。并从符号学角度解析构成画面所传达的意义。通过视听刺激的综合体验,人们对声音视觉化作品形成了抽象的情感语义,由此从视觉特征到对象构成,再到情绪体验,形成了以情绪为导向的声音视觉化设计模型。最终,依据实际应用的场景,从艺术表现类和功能应用类两大方向进行细化分析。从应用中解析不同场景,由此视听模型会有视觉特征、身份构成、最终产出的偏好和差异,以此完善整体的视听设计模型,对场景应用具有更实际的指导效果。本文综合以上的理论分析以及实验产出结论,构建了以情绪为中介的声音视觉化设计模型,使设计作品的整体体验更加人性化,让人们更好理解声乐的情感。并使声音视觉化作品更具吸引力,以达到更加良好的跨感官体验效果。研究结论对视听心理评估有一定参考意义,并为声音视觉化提供了一种更符合氛围效果的设计模型思路。