基于Unity3D的数字虚拟人交互技术研究与应用

作     者：李光亚 司占军 LI Guang-ya;SI Zhan-jun

作者机构：天津科技大学人工智能学院天津300457 

出 版 物：《印刷与数字媒体技术研究》 (Printing and Digital Media Technology Study)

年 卷 期：2024年第2期

页      面：123-134页

学科分类：08[工学] 080203[工学-机械设计及理论] 0802[工学-机械工程] 

主　　题：数字媒体 人工智能 媒体交互 语音合成 

摘      要：目前,数字虚拟人交互技术虽然能够实现与用户的基本交互,但仍然存在着语言理解偏误、缺乏情感表达能力等一系列问题,导致用户的交互体验感不足。在此背景下,本研究首先分析了数字虚拟人技术的发展现状和存在的问题,进而探究了基于Unity3D的数字虚拟人交互技术,并提出了一种由文本直接生成带有情感特征语音的方法。基于此,将其与ChatGPT语言理解与文本生成、文本情感分析和改进后的VITS语音合成技术结合,并使用Kinect 2.0设备模拟全息交互效果,最终构建了一款能够进行准确理解并模拟情感回应的数字虚拟人交互应用。结果表明,该技术可有效提高数字虚拟人的理解与表达能力,为用户提供更好的交互体验,对于数字虚拟人技术的应用和发展具有参考价值。