检索结果-南通市图书馆

作者：贾俊佳中央民族大学

学位级别：硕士

随着人工智能的高速发展,情感计算作为其分支领域也在不断地被研究者探究。情感计算主要有识别,表达和决策三个研究方向。其中,情感识别的研究更为广泛和深入。情感识别主要是研究如何让机器准确辨识人类的情感,并消除其不确定性和歧义... 详细信息

随着人工智能的高速发展,情感计算作为其分支领域也在不断地被研究者探究。情感计算主要有识别,表达和决策三个研究方向。其中,情感识别的研究更为广泛和深入。情感识别主要是研究如何让机器准确辨识人类的情感,并消除其不确定性和歧义性。人类的情感表达是多元化的,可以通过表情,语音,文本等非生理信号,也可以通过脑电,心电等生理信号。在非生理信号中,表情是最直接的一种表达方式。因此,很多研究者们致力于研究基于面部表情的情感识别,但这些研究大多数是基于静态表情图片。考虑到表情本身就是一个动态的变化过程,所以基于动态表情视频的情感识别会更加符合人类情感本身。在生理信号中,脑电信号与情感的联系较为紧密。由于脑电信号本身具有时空性,因此可以从脑电信号的特性出发进行研究,从而提高其识别率。但不管是基于表情还是基于脑电的情感识别,都是一种单模态的情感识别,它们仅仅是利用了情感的单特征表达方式。事实上,人类表达情感往往是伴随着多种方式,例如在高兴的时候,脸上会露出开心的表情,同时身体也会发生动作,说话的语调也会比较高亢。所以,利用多种模态的特征来进行情感识别符合人类本身表达情感的方式,也会提高其特征多样性,从而有利于后续情感识别的深入研究。本文的主要工作如下:选用12段比较经典的视频片段来诱发情感,其中正向,中性,负性三种情绪各4段,随机播放。通过实验室已有设备采集了 15名被试者在观看这些视频片段的表情变化视频和脑电数据。关于表情视频,本文进行了基于面部表情的情感识别研究。依据对原始表情视频数据的不同处理方式,将其分为基于静态表情帧和基于动态表情序列的情感识别。两者区别在于,前者是对单独表情帧进行处理,后者是对动态表情视频切分后的帧序列进行处理,最后得出分类结果。对于后者的的情感识别方式,本文分别采取了帧聚合,帧光流,帧时序三种不同方法进行研究。并将其与静态帧识别效果进行对比,结果表明,基于帧聚合的CNN表情识别率最高,达96.2%。关于同步采集的脑电数据,本文进行了基于EEG的情感识别研究。本文建立了三种不同模型,单通道LSTM模型,双通道LSTM模型以及CNN模型。单通道LSTM模型输入分为五类,Sms脑电数据,10ms脑电数据,以及小波变换特征提取后的3种特征（方差,能量和微分熵）。双通道LSTM模型输入分为3类,包括了小波变换后的两两组合特征。实验结果表明,基于10ms脑电数据单通道LSTM模型分类效果最好。相比单模态情感识别来说,多模态融合的情感识别能够利用特征多样性和特征相关性来提高情绪识别准确率。因此,考虑将视频表情识别和EEG情绪识别二者结合,利用表情和EEG的特征级融合来研究双模态情感识别,实现对情绪的三分类（积极,消极和中性）。首先对比现有的多模态融合方式,考虑选用基于深度学习的特征融合方式CNN-LSTM和LSTM-CNN。情绪分类结果表明,基于LSTM-CNN情绪分类模型准确率最高,达93.13%,更加适用于表情和脑电的融合分类,而且它的识别准确率比基于EEG的单模态情感识别要高。但是,它的识别效果比单模态表情识别要差。这表明在特征融合时,基于EEG的情绪特征的质量低于在表情特征。因此后续还需要对如何提高基于EEG的脑电特征进行改进,以及如何与表情特征融合进行更加深入的研究。

关键词：双模态情感计算表情识别脑电情绪识别小波变换 CNN LSTM

基于计算思维能力培养的Scratch课程研究——以趣味数学题为例

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于计算思维能力培养的Scratch课程研究——以趣味数学题为例

作者：孙书旸中央民族大学

学位级别：硕士

随着科技的进步,信息化时代的到来,高素质人才的培养成为全球关注的重点,计算思维能力是高素质人才必不可少的核心能力之一。与此同时教育信息化在中小学落地生根,作为未来世界主人的中小学生,具备计算思维的能力变得尤为重要了。计算... 详细信息

随着科技的进步,信息化时代的到来,高素质人才的培养成为全球关注的重点,计算思维能力是高素质人才必不可少的核心能力之一。与此同时教育信息化在中小学落地生根,作为未来世界主人的中小学生,具备计算思维的能力变得尤为重要了。计算思维能力的培养是一个漫长的阶段,面向基础K-12阶段的计算思维培养变得尤为重要。为了更好的培养中小学生的计算思维能力,本文利用Scratch编程进行了相关教育研究。在中小学信息技术课程中,算法思想一直是专家学者和广大一线教师长期关注的重点,算法本身难懂难学,如何向学生讲解算法知识模块,如何设计和组织教学来培养计算思维能力是信息技术课程中的教学难点和教学重点。笔者分析了当前中学阶段的Scratch程序设计课程,利用计算思维能力解决问题的特点,通过趣味数学题导入,在建构主义思想和杜威的做中学等理论指导下,采用前后测调查问卷、访谈等方法,开展了如下工作:(1)对STEAM教育理论、计算思维概念、Scratch程序设计的相关状况进行梳理。首先对STEAM教育进行概念界定,将STEAM教育理论对接核心素养中的计算思维,阐述了 STEAM教育的重要性。接着给出计算思维的定义,分析了计算思维培养的可行性。最后介绍了 Scratch程序设计的当前情况,分析了利用其培养计算思维能力的可行性。(2)从教学对象、教学内容、教学目标、教学过程几个方面展开分析,构建了基于计算思维培养的教学设计。(3)利用笔者实习单位的初二年级学生为教学对象,进行了教学实践。笔者开发了三个教学案例,分别是《平闰年》、《猴子吃桃》、《1+2+...+100》,并通过计算思维前后测调查问卷、学生体验调查问卷等方式来验证教学效果,最终完成教学实验。本文利用常规教学和基于计算思维能力培养的教学进行对照实验,在前人的基础上,进一步丰富我国对计算思维培养的研究。并为一线教师和广大的教育工作者提供了宝贵的经验。研究表明,笔者设计的教学实验对学生的计算思维能力培养有着帮助,进而还促进了学生动手能力和解决问题分析问题的能力。基于计算思维培养的教学设计利用趣味数学题的导入有利于激发学生学习其他学科的兴趣。

关键词：计算思维 Scratch STEAM 程序设计

基于OEBEM模型对中小学在线教育的满意度研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于OEBEM模型对中小学在线教育的满意度研究

作者：王晓阳中央民族大学

学位级别：硕士

随着我国用户教育观念的改变,社会经济、科技的发展,特别是2020年新冠疫情的影响,我国的在线教育用户猛增、市场扩大,因此在线教育成为投资者进行投资的重点目标。这些现象和行为都促进了在线教育的大跨步向前发展,但是因为我国在线教... 详细信息

随着我国用户教育观念的改变,社会经济、科技的发展,特别是2020年新冠疫情的影响,我国的在线教育用户猛增、市场扩大,因此在线教育成为投资者进行投资的重点目标。这些现象和行为都促进了在线教育的大跨步向前发展,但是因为我国在线教育增长速度过快,很多监管体系未跟上在线教育发展步伐,致使在线教育用户体验感和满意度低。为了解决这一问题,本文创建了 OEBEM（Online Education Behavior Explanation Model）模型,为中国的中小学在线教育提供服务质量评价体系和研究分析方法,最后从国家、企业、教师三个主体为中国在线教育提供自己的建议。本文通过爬取数十个中小学在线教育机构的在线评论,利用jieba进行分词、清洗、python编程获得了中小学在线评论的高频词汇,在以SERVQUAL模型为基础,结合知网在线教育影响因子的文献,专家学者的修改意见,最终构造出了包括直观性、基本性、响应性、保证性、个性化、经济性,六大一级指标的中国中小学的在线教育服务质量评价体系。然后将评论分别对应到中小学的在线教育服务质量评价体系的六大指标之中,在用LSTM（长短期记忆网络）情感分析模型,进行情感分析得出情感值。根据六大指标的占比和情感值分别从同指标不同年角度分析在线教育用户关注趋势,从整体不同指标分析得出用户对在线教育的关注点。

关键词： SERVQUAL 在线教育文本情感分析 LSTM OEBEM模型

基于眼动追踪技术的教师呈现形式对MOOC视频教学效果影响的研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于眼动追踪技术的教师呈现形式对MOOC视频教学效果影响的研究

作者：徐佩瑶中央民族大学

学位级别：硕士

随着信息技术的快速发展,飞速前进中的数字教育资源为各个阶段的学习需求提供了丰富的选择,互联网式学习逐渐成为学习者获取知识的重要途径。在线学习突破了以往课堂教学在学习者学习时间的选择和学习所需必要的地理位置方面的局限性,... 详细信息

随着信息技术的快速发展,飞速前进中的数字教育资源为各个阶段的学习需求提供了丰富的选择,互联网式学习逐渐成为学习者获取知识的重要途径。在线学习突破了以往课堂教学在学习者学习时间的选择和学习所需必要的地理位置方面的局限性,冲击了学习者获取知识的习惯性行为,更直接地体现学习者在学习闭环中的主导作用。随之而来的,同样也为教育工作者带来了全新的教学思路和理论实践。过去的10年里,MOOC平台所提供的全新的学习过程和不同主体的课程教学形式,凭借着规模巨大、优秀的开放属性、科学的主导教学模式和数量宏大的免费优质学习资料等优势在世界范围内广泛传播,而MOOC带来的全新学习过程和教学思路对即将发生的教育变革的冲击作用也是大势所趋。随着MOOC在线教育平台的快速发展,教育等相关领域的研究人员越来越多的注意到MOOC的学习效果问题。教学媒体视频是学习者在MOOC平台上获取知识的重要途径之一,是教学内容传播的重要渠道,是学习用户在线学习时得到知识信息的重要通道,它的水准将直接影响MOOC学习者对课程的参与度和学习效果。目前,有关视频教学效果的研究更多地侧重于视频课程本身的特点,而对视频教学中教师的主体关注较少。作为教学活动主体,教师在课堂上的行为会对学习者的学习效果效果产生很大影响。近几年,教育领域专家学者也开始使用眼动仪跟踪记录学习者在学习过程中的视觉行为,使用眼动仪跟踪记录学习者眼动情况,可以高效准确的了解学习者整个学习过程的行为,眼动追踪技术会比其他传统方法更能精确的考察学习者在线学习过程中的学习行为。本文以眼动追踪技术作为实验的技术支持,并深入研究了不同呈现形式的教师在陈述性知识和程序性知识的课程中对学习者学习效果的影响。通过研究归纳MOOC用户在线学习过程中视线变化情况,认知负荷水平和学业成绩的量化数据,为MOOC在线学习平台教学视频的发展提供基础。实验结论表明:老师具体形象呈现所带来的指导效果有助于学习者更多的关注到MOOC视频教学的过程中去。同时在不增加学习者心里负荷水平的情况下使学习者的心理努力水平得到了提升。最后,教师大窗口形式呈现能够有效地提高MOOC学习者陈述性知识的学习效果。

关键词： MOOC 知识类型教师呈现眼动追踪技术学习效果

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

情绪识别中EEG信号的特征表示研究

情绪识别中EEG信号的特征表示研究

作者：周正杰中央民族大学

学位级别：硕士

情绪识别是人工智能、人机交互等领域的关键技术。信息时代的来临,要求机器能够更友好的理解和表达人类的情绪。在现实生活中,情绪识别已经应用到医疗、教育、商业等领域.但是由于情绪是一个非常复杂的认知过程,情绪识别若想取得较好效... 详细信息

情绪识别是人工智能、人机交互等领域的关键技术。信息时代的来临,要求机器能够更友好的理解和表达人类的情绪。在现实生活中,情绪识别已经应用到医疗、教育、商业等领域.但是由于情绪是一个非常复杂的认知过程,情绪识别若想取得较好效果,有赖于不断深入的研究。脑电信号是一种电生理信号,具有客观性和精确性,能直接反映大脑的活动,因而被广泛应用到情绪识别中。本文基于脑电信号,进行情绪识别研究,重点在于情绪相关的脑电特征提取、特征表示问题研究。在本文中,主要开展了三个方面的工作,分别是：1)情绪诱发：情绪诱发是情绪识别研究的关键前提,影响着脑电数据的准确性和可用性。本文采用界内普遍认可的CAPS (Chinese Affective Picture System,中国情绪图片库)和IAPS (International Affective Picture System,国际情绪图片库)作为刺激材料,设计情绪诱导文件;以同类图片连续刺激的方式诱发被试者的三种情绪,分别是积极、中性和消极情绪。连续刺激的方式使被试者的情绪体验更加强烈,因而能获取更好的情绪识别结果。2)脑电时频特征提取：本文利用小波变换,在时频域提取了三类脑电特征、分别是子频带能量、能量比以及小波系数的根均方,他们很好的反应了情绪相关的脑电活动。SVM平均分类正确率能够达到82.87%,表明这三种特征在情绪识别中是非常有效的;与IAPS相比,CAPS刺激采集的EEG数据具有更高的情绪识别率,表明情绪存在着文化背景的差异。另外,考虑到脑电信号非线性时变特性以及情绪的过程性,我们利用了有重叠的方式截取脑电信号样本。SVM识别的结果表明了这种截取方式的优势。3)情绪脑区划分：越来越多的研究关注特定脑区的情绪特征在识别中的重要性。但对脑区的划分多是简单的基于距离和对称性原则来完成的,忽略了电极间的情绪相关性和差异性。本文提出了一种基于电极相似度聚类的情绪脑区划分方法,以脑区中心表示区域内所有电极的特征。该方法以电极时频特征计算互相关度,以相关度最大且大于阈值的方式判断电极是否连通,进而将连通电极聚为一类,即划分为一个脑区。用聚类中心表示类中所有电极的特征,消除了数据冗余,也达到了降维的效果。与一般的基于距离进行脑区划分的方法相比,该方法获得了更高的情绪识别率。

关键词：情绪识别 EEG 小波变换 SVM 情绪脑区电极相似度

基于ARCS动机模型的小学道德与法治教育游戏设计与应用研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于ARCS动机模型的小学道德与法治教育游戏设计与应用研究

作者：郜石蕊中央民族大学

学位级别：硕士

新时代,《义务教育道德与法治课程标准(2022年版)》中要求运用现代信息技术,积极探索道德与法治课程教学资源的开发。教育游戏的发展,丰富了课程教学资源,能够有效地提高学生学习动机,给予教育教学一种新的途径。如何让道德与法治教育... 详细信息

新时代,《义务教育道德与法治课程标准(2022年版)》中要求运用现代信息技术,积极探索道德与法治课程教学资源的开发。教育游戏的发展,丰富了课程教学资源,能够有效地提高学生学习动机,给予教育教学一种新的途径。如何让道德与法治教育游戏设计更加合理、充分发挥其应用优势成为了研究重点。本文以ARCS动机模型为理论基础,指导小学道德与法治教育游戏的设计与应用,既能丰富课程教学资源,又能激发学生学习动机、改善课堂存在的问题,从而提升整体教学效果。因此,本文围绕如何基于ARCS动机模型进行小学道德与法治教育游戏设计,提升小学生的学习动机这一核心问题展开研究,具体工作如下:1.通过文献研究,分析教育游戏与ARCS动机模型的国内外研究现状,将ARCS动机模型、教育游戏、道德与法治学科相关联,并讨论ARCS动机模型与教育游戏的融合点。2.通过学生调查问卷与师生访谈,为游戏设计提供现实需求和经验依据。选取人民教育出版社编著的道德与法治五年级上册第四单元“骄人祖先灿烂文化”的前两课《美丽文字民族瑰宝》与《古代科技耀我中华》为教学内容,进行教学分析。结合需求分析与教学分析,基于ARCS动机模型给出了教育游戏的设计原则与设计流程,选择了唤境游戏引擎进行教育游戏的开发、测试、发布。3.通过开展准实验研究,选取新乡市牧野区L小学五年级(5)班为实验班应用教育游戏进行授课,(6)班为对照班应用原有的传统教学方式进行授课,分析学生学业成绩、学习动机水平以及整体应用效果,以评价该教育游戏的有效性。本研究得出以下结论:基于ARCS动机模型的小学道德与法治教育游戏有利于提升学生学业成绩和学习动机,可以优化道德与法治知识的呈现方式,增强课堂的活跃度、互动性,学生在学习时更容易表现出主动、自主与专注,可以在今后的教学中继续尝试使用。

关键词： ARCS动机模型小学道德与法治教育游戏

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于深度学习的情绪识别技术研究

基于深度学习的情绪识别技术研究

作者：焦蕊中央民族大学

学位级别：硕士

情感计算是实现高级人机交互的核心技术之一,它随着深度学习、人工智能的高速发展,受到了广泛的关注,不断地被研究者研究。情感的表述方式多种多样,基本可以分为生理信号和非生理信号两大类。常见的非生理信号有语言、文本、面部表情、... 详细信息

情感计算是实现高级人机交互的核心技术之一,它随着深度学习、人工智能的高速发展,受到了广泛的关注,不断地被研究者研究。情感的表述方式多种多样,基本可以分为生理信号和非生理信号两大类。常见的非生理信号有语言、文本、面部表情、身体姿势等;生理信号主要有脑电、心电、肌电、表皮电阻、表皮电流、光电脉搏、呼吸信号等。在非生理信号中,表情是最直接的一种表达方式。在生理信号中,脑电信号与情感的联系较为紧密。关于表情图像或者脑电信号的情绪研究,都是只使用了一种维度的特征来进行情感分析,这就是属于单一模态的情感分析。但在实际的日常沟通中,情感的表现一般是多维度、多元化的,表达的情感通常含有一种以上的模态信息,所以使用多种模态用于情感分析逐渐引起了研究人员的关注。单一模态的情感识别一般存在信息利用不足、识别准确率低等缺点,所以越来越多的研究者将注意力集中在多种模态的情感识别。比起来用一种模态分析情感,使用多种不同模态去研究情感能更好的利用特征多样性和相关性,从而提高其准确率。使用多种模态进行情感分析可以克服单一模态情感分析的局限,有效地提高情感分析的准确度。本文的课题研究主要是使用脑电信号和表情图像两种模态进行情感分析,并对研究过程中涉及的特征提取阶段、融合分类阶段以及两种模态的融合过程展开研究,主要工作如下:(1)在面部表情单模态的情绪识别中,表情特征易受图像背景、个体身份等因素的影响,不同区域对分类效果影响不同。面对这一问题,本文建立了基于注意力机制的卷积神经网络模型FER-CNN-Attention。此模型是采用卷积神经网络对表情图像中的情感特征进行提取,最终实现情感分析。并在卷积神经网络的基础上引入了注意力机制,很好的突出了表情的相关特征。分别从空间和通道两个维度进行情感特征的权重分配,提升分类模型对表情信息的敏感性,从而提高情绪分类的准确率。最终在公开的表情数据集FER-2013和CK+上进行了实验验证,分类准确率分别为64.59%和94.74%,相比未引入注意力机制的表情分类结果分别提升了2.12%和9.48%。证明了实验方法的有效性和可行性。(2)在脑电信号的模态识别中,基于长短时记忆神经网络建立网络模型EEG-LSTM。对经过预处理的脑电信号直接进行特征的提取和分类,并在 DEAP(Database for Emotion Analysis using Physiological Signals)数据集上进行实验,通过优化网络,最终得到80.63%的分类准确率。并为之后的多模态情感研究部分奠定了基础。(3)结合面部表情和脑电两种模态进行多模态的情感研究。选取面部表情和脑电信号数据同步的DEAP数据集,对数据集进行一系列的预处理,在前两部分的基础上,采用每个模态最适合的分类方式,分别得到两个模态的情绪识别结果。之后选取合适的决策准则对三种情绪进行加权赋值,让两种模态充分发挥分类效果好的那一种情绪,最终得到更好的情绪分类结果。实验验证,模态融合之后的情绪分类结果相比较于面部表情和脑电单模态分别提高了 2.46%和1.27%。因此,融合面部表情和脑电信号这两种不同模态的情感数据可以搭建出更有效的情感识别系统。

关键词：深度学习脑电信号面部表情多模态

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于深度学习的情感计算若干问题研究

基于深度学习的情感计算若干问题研究

作者：路遥中央民族大学

学位级别：硕士

近年来人机交互领域进展卓越,若实现自然人机交互,必须赋予计算机识别人类情绪的能力。目前脑电信号(Electroencephalogram,EEG)的研究已经越来越成熟,许多机器学习和模式识别算法被应用到基于EEG的情绪识别中,但情绪的产生是一种复杂... 详细信息

近年来人机交互领域进展卓越,若实现自然人机交互,必须赋予计算机识别人类情绪的能力。目前脑电信号(Electroencephalogram,EEG)的研究已经越来越成熟,许多机器学习和模式识别算法被应用到基于EEG的情绪识别中,但情绪的产生是一种复杂的认知活动,情绪产生机理和过程还在研究中。此外面部表情也可以准确表征情感,具有丰富的特征且易于采集,表情或可用来与脑电信号共同完成更有针对性的情绪分类与识别任务,从而实现人机和谐交互。综上所述,将脑电信号应用于情感计算有着广阔前景,若使用表情信息辅助脑电信号共同支撑情绪识别任务,或将提高仅基于脑电信号进行情绪分类的单模态算法准确性。本文的主要工作如下:在设计可有效诱发积极、消极情绪的多媒体刺激材料的基础上,采集被试包含积极、消极情绪的脑电样本并同步记录其表情数据,对原始脑电信号进行预处理。并基于实验采集的表情数据建立表情识别系统Model-Facial,通过Model-Facial确定表情变化首末关键帧并完成面部表情的实时检测任务。本文建立脑电信号识别模块Model-EEG包含四个模型:WT-LSTM模型通过小波变换从EEG信号中提取四种小波特征,将上述特征输入到基于LSTM的情绪分类模型进行情绪识别,筛选出在情绪识别问题上与LSTM网络适应性最强的脑电特征。ALL-LSTM模型将预处理后的全量EEG信号输入基于LSTM的情绪分类模型进行情绪识别,平均分类准确率相较WT-LSTM模型提升13%,实验说明LSTM网络充分学习脑电信号的时序特性,可直接用于预处理后的EEG数据。模型的设计思想适用于分析非平稳时间序列,也为基于非平稳时间序列的分类问题提供解决思路。Facial-LSTM模型参照表情识别系统计算的表情变化首末关键帧,以此为起始点与结束点剪裁脑电数据,将剪裁后脑电数据输入基于LSTM的情绪分类模型中进行情绪识别,识别率相较ALL-LSTM模型提升3%,说明表情模态有助于删除包含较少甚至没有情绪特征的EEG信号,提高基于EEG的单模态情绪识别准确率。Facial-Bi-LSTM模型则是将通过表情变化首末关键帧剪裁后的脑电数据输入双向长短时记忆单元(Bi-directional LSTM,Bi-LSTM)模型中进行情绪识别,识别率和稳定性均劣于Facial-LSTM模型。考虑到脑电信号具有较强时序性,Bi-LSTM模型将脑电信号反向特征与正向判定的脑电信号融合后反而会对情绪识别造成干扰。综合以上实验结果,情绪识别效果最好的为Facial-LSTM模型,在8位被试上的平均分类准确率为89.42%。说明LSTM可充分学习EEG信号的时序特性,且表情变化时刻对定位情绪产生的时刻起参考作用。

关键词：脑电长短时记忆网络小波变换支持向量机

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于视频刺激的脑电信号特征研究

基于视频刺激的脑电信号特征研究

作者：宋晓远中央民族大学

学位级别：硕士

情感计算的目标是赋予计算机情感表达、情感识别和情感理解的能力。其中,情感识别是实现情感计算的基础,是情感认知研究的关键。本论文的主要内容是基于视频刺激的脑电信号特征研究,目的是找到和情绪最相关的脑区,以缩短情绪识别时间,... 详细信息

情感计算的目标是赋予计算机情感表达、情感识别和情感理解的能力。其中,情感识别是实现情感计算的基础,是情感认知研究的关键。本论文的主要内容是基于视频刺激的脑电信号特征研究,目的是找到和情绪最相关的脑区,以缩短情绪识别时间,有利于情绪识别应用到便携式情感计算设备里。首先,搜集愉悦、悲伤、中性三种情绪的视频,从中选出能更好诱发被试情绪的视频,然后设计了两个刺激文件用于采集脑电信号,并对原始脑电信号进行了预处理操作。其次,对预处理后的脑电信号进行小波变换,提取脑电特征,利用支持向量机对样本进行训练和分类。最后,用逐步增加脑区的方法找到了与情绪最相关的脑区位于额叶和颞叶,并且找到了62个电极里和情绪最相关的电极,进一步证明了这一结论。本论文找到了能提高情绪分类准确率的小波基和脑电特征：sym8小波和微分熵特征。另外,截取样本时如果舍去每个视频前10s的脑电信号、样本间重叠率为50%,也能提高情绪分类准确率,6个人的情绪分类平均准确率能达到89.44%。然后用逐步增加脑区的方法找到了与情绪最相关的脑区位于额叶和颞叶,6个人在这两个脑区上的情绪分类平均准确率为88.75%,然后借助相关性分析,找到了62个电极里和情绪最相关的电极位于额叶和颞叶两个脑区,进一步证明了在基于视频刺激的脑电实验里,和情绪最相关的脑区位于额叶和颞叶。

关键词： EEG 小波变换 SVM 脑区相关性分析

基于注意力机制的多源域领域适配的脑电情绪识别研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于注意力机制的多源域领域适配的脑电情绪识别研究

作者：吴德孟中央民族大学

学位级别：硕士

情绪是人类独有的心理活动,它不仅反映了人的生理和心理状态,还对人的认知、沟通和决策产生重要影响。脑电信号(Electroencephalogram,EEG)是脑神经细胞在大脑皮层的一种总体反应,能够客观准确地反映人类的情感。然而,脑电情绪识别领域... 详细信息

情绪是人类独有的心理活动,它不仅反映了人的生理和心理状态,还对人的认知、沟通和决策产生重要影响。脑电信号(Electroencephalogram,EEG)是脑神经细胞在大脑皮层的一种总体反应,能够客观准确地反映人类的情感。然而,脑电情绪识别领域一直存在一个挑战,即如何提高情绪分类模型的识别率和泛化能力,特别是在来自不同个体或时段的样本上的泛化能力。在这方面,领域适配(Domain Adaptation,DA)方法是一种有效的解决方案,它可以通过知识迁移在不同领域之间进行训练和测试,从而放宽训练和测试样本必须满足相同概率分布的限制。本文基于以上脑电情绪识别技术的特点,在使用多源领域适配进行脑电情绪识别的基础上,进一步提出了一种新的基于注意力机制的多分支多源域领域适配(Multi-Branch Multi-Source Domain Adaptation Based on Attention Mechanism,MBMDA)的脑电情绪模型。MBMDA模型可以实现脑电信号在跨数据集、跨被试下的多源领域适配,以更好地提高脑电情绪分类模型的泛化能力,以及脑电情绪识别的准确性,本文的主要工作如下:第一,本文介绍了常见的脑电信号伪迹类型以及对脑电信号进行预处理的各种方法,并对文中使用的三种脑电数据集DEAP、SEED和SEED-Ⅳ进行了相应的预处理。对数据集进行预处理的目的是去除脑电信号中的噪声,这也是提高分类准确率的第一步。第二,传统领域适配方法在进行脑电公共特征提取时常常会忽略脑电信号中的时间和空间信息。为此,我们提出了一种基于注意力机制的混合优化模型FFTLA,用于脑电公共特征的提取,并采用SoftMax函数进行了分类评估。在公共数据集DEAP上,FFTLA表现出了优异的特征提取能力,脑电情绪识别的平均准确率可以达到92.38%。这一结果表明,使用基于注意力机制的混合优化模型FFTLA进行脑电公共特征提取是可行的。第三,本文在使用脑电公共特征提取器FFTLA提取到相应的脑电公共特征后,再将这些公共特征依次输入到域特定特征提取器和域特定特征分类器中,以进行脑电信号的特征提取和分类。同时,本文使用了最大均值差异来减少源域和目标域之间的分布差异,以及最小化分类差异来获得更准确的分类器。此外,本文还使用了最小化差异损失来获得更收敛的分类器。最后,本文在公共数据集SEED和SEED-Ⅳ上对我们提出的模型MBMDA进行了评估。实验结果显示,在数据集SEED上,跨会话和跨主题场景的准确率分别为88.88%和90.98%,在数据集SEED-Ⅳ上,跨会话和跨主题场景的准确率分别为69.28%和68.04%。此外,我们还对实验中使用的归一化方法、损失函数以及超参数进行了探讨,并研究了它们对于本研究的影响。结果表明在迁移学习的域适配领域中,使用基于注意力机制的深度学习混合模型进行脑电的公共特征提取,以及使用多分支多源域的策略进行脑电情绪识别是可行的。

关键词：领域适配注意力机制情绪识别脑电信号