基于生成式人工智能的眼动样本生成及识别

作     者：谭雪青 宋军 张慢慢 臧传丽 

作者机构：天津师范大学心理学部 河南理工大学机械与动力工程学院 

出 版 物：《河南理工大学学报(自然科学版)》 (Journal of Henan Polytechnic University(Natural Science))

年 卷 期：2024年

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 1001[医学-基础医学(可授医学、理学学位)] 081104[工学-模式识别与智能系统] 08[工学] 0835[工学-软件工程] 0811[工学-控制科学与工程] 10[医学] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家自然科学基金资助项目(31800920) 

主　　题：生成式人工智能 变分自编码器 多层感知器 眼动 

摘      要：目的 生成式和传统人工智能模型是信息时代的关键工具。在这些技术的助力下，眼动过程的样本生成与识别显得尤为关键，它已成为深入研究认知机制的重要手段。因此，本研究旨在推动生成式人工智能在眼动技术领域的应用发展，解决眼动样本生成及因网络深度增加而导致的不透明性和不可解释性问题，并深入挖掘与幼儿语言发展相关的眼动数据。方法 本研究采集4-6岁幼儿理解不同焦点结构的眼动数据，采用生成式人工智能模型-变分自编码器(VariationalAuto Encoder，VAE)和传统模型-多层感知器(Multi-LayerPerceptron，MLP)识别其眼动模式的发展差异并尝试生成新样本，基于灰色关联分析和混淆矩阵对生成式数据集进行解释。结果 结果表明：(1) VAE生成的4岁组、5岁组和6岁组幼儿眼动数据集精度高于MINIST(MixedNationalInstituteofStandardsandTechnologydatabase)数据集，且与MLP分析结果一致，具有准确性、多样性和一定的可解释性；(2)生成式眼动数据及混淆矩阵结果表明，在无焦点结构句式中，幼儿在4～5岁、5～6岁两个阶段理解水平均有提升，而宾语焦点结构和主语焦点结构的眼动特征在4～5岁变化较小，5～6岁变化较大，说明幼儿对焦点结构的理解在5岁是一个关键期，这符合幼儿焦点结构理解发展规律。结论 本文所提出的人工智能耦合分析方法，具备有效识别眼动特征发展模式的能力，并能据此生成可靠的新样本。这一方法不仅为生成式人工智能与眼动技术的融合开辟了新的途径，也为复杂语言理解问题提供了全新的思考方向。