检索结果-南通市图书馆

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

基于忆阻阵列的在线训练算法设计及应用

基于忆阻阵列的在线训练算法设计及应用

作者：李杰西南大学

学位级别：硕士

过去几十年,具有冯·诺依曼架构的传统计算系统极大地方便了我们的工作与生活,但它也存在效率低下的问题,冯·诺依曼计算系统中处理单元和存储单元是分离的,处理单元和存储单元之间的数据流是主要性能和能效瓶颈,通常被称为“内存墙”... 详细信息

过去几十年,具有冯·诺依曼架构的传统计算系统极大地方便了我们的工作与生活,但它也存在效率低下的问题,冯·诺依曼计算系统中处理单元和存储单元是分离的,处理单元和存储单元之间的数据流是主要性能和能效瓶颈,通常被称为“内存墙”。新兴的电阻开关存储器(忆阻器)通过在忆阻器交叉阵列中进行计算来克服“内存墙”的现象。存算融合的忆阻器作为模拟器件,由于受限于工艺、技术与阻变功能层,利用脉冲到脉冲(Pulse to Pulse,P2P)的变化操作使其难以实现高精度计算。因此,在基于忆阻器交叉阵列神经网络中,迫切需要考虑在忆阻器非理想特性下实现基于忆阻器交叉阵列的神经网络在线训练算法,然而对该种训练至今鲜见报道。首先本文制备了结构为Ag|Ti O|F-doped Sn O忆阻器,在测试的忆阻效应基础上,利用P2P变化曲线对其进行权重更新,从而设计出了低比特的多层感知机(Multilayer Perceptron,MLP)网络训练方法,该方法能够实现在线训练,并且考虑了实际忆阻器脉冲调制的非线性,能够导入实际忆阻器的脉冲调制曲线,自动拟合脉冲调制曲线,能够实现设置不同的比特数来评估忆阻器在交叉阵列上运行MLP网络进行手写数字识别精度。该在线训练算法不需要闭环更新电导,只需要采用一次SET和RESET脉冲更新权重,收敛速度极快,超过在软件上的收敛速度,因而减少了忆阻器在训练时的SET或RESET操作,延长忆阻器的读写寿命,降低了忆阻器交叉阵列的在线训练时间以及功耗。同时也表明了在不精确的梯度更新下,忆阻器神经网络也能够正常收敛。本文的算法能够容忍忆阻器器件非理想特性,为未来神经网络在实际电路中的应用提供了基础。接着本文针对基于忆阻器交叉阵列的回声状态网络(Echo State Networks,ESN)进行了研究。提出了基于忆阻器交叉阵列的注意力多尺度双向ESN网络,设计了自适应的多尺度双向ESN结构,能够根据时间序列的长度,自适应的计算时间步长,多尺度ESN能够捕获不同时间序列长度的特征,将时间序列向多个高维非线性空间映射,提取到不同的特征,并采用一维卷积残差网络作为骨干网络,使神经网络能够扩展到非常深的结构。为了忆阻器交叉阵列能够部署ESN,设计了基于忆阻器交叉阵列的ESN电路,使全硬件实现ESN成为可能。在时间序列数据集分类上,采用UCR和UEA数据集与其他时间序列分类算法做比较,可以看出提出的算法优于其他算法。在图像识别分类上,采用MNIST(Modified National Institute of Standards and Technology database)和CIFAR10数据集与其他ESN算法进行比较,本文提出的算法均达到了较高的精度。最后,对本文的主要研究工作进行总结,并对忆阻器交叉阵列在线训练算法和回声状态网络架构研究进行了展望。

关键词：内存墙忆阻器交叉阵列多层感知机回声状态网络在线训练

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

深度神经网络在线训练算法设计

深度神经网络在线训练算法设计

作者：王汉霖东南大学

学位级别：硕士

近年来,深度神经网络逐渐成为现代数据分析和人工智能领域中的至关重要的部分,然而模型在线应用时的数据分布与训练模型时的数据分布往往是不一致的,这就导致模型在实际应用中扩展性很差,很难适应复杂多变的实际场景。在线训练克服了这... 详细信息

近年来,深度神经网络逐渐成为现代数据分析和人工智能领域中的至关重要的部分,然而模型在线应用时的数据分布与训练模型时的数据分布往往是不一致的,这就导致模型在实际应用中扩展性很差,很难适应复杂多变的实际场景。在线训练克服了这种缺点,可以快速有效的更新模型,使网络模型适应环境的变化。不过,模型在在线训练的过程中容易过拟合新样本使得泛化能力下降,并且容易造成对旧样本的灾难性遗忘问题。因此,设计用于模型在线更新的深度神经网络在线训练算法具有重要的现实意义。本文设计了一种基于随机权重平均和目标梯度下降的深度神经网络在线训练算法,该算法通过随机权重平均很大程度上解决了由于在线训练过程中样本数量过少导致的模型难以收敛等问题,提升了模型的泛化能力;通过目标梯度下降来针对性的更新参数,很大程度上解决了在线训练过程中容易产生的灾难性遗忘问题;为了使算法可以在硬件进行部署,设计了面向硬件的在线训练算法优化方法,包括使用块浮点量化对训练过程中的参数进行8-bit量化,使用范围批量归一化代替传统批量归一化,以及对模型参数进行稀疏化的方法,在保证训练精度的前提下,大大减少了训练的计算复杂度和参数存储量。本文设计的深度神经网络在线训练算法在CIFAR-100数据集上进行在线训练后,准确率从预训练的73.24%提升至74.27%,收敛速度小于10次迭代。在Office-Home数据集上进行风格不同的样本的在线训练后,对新环境的准确率都有着显著的提高,对旧环境的遗忘程度较小,平均准确率达到了48.9%,为了验证在线训练算法部署到硬件上的可行性,基于MIZ-7100开发板搭建了现场可编程逻辑阵列(Field Programmable Gate Array,FPGA)验证平台,对在线训练算法在软硬件平台上的一致性进行了验证,在保证加速器的计算精度与软件平台一致的情况下进行模型训练,软硬件平台训练结果保持一致。本文的研究对未来高准确率快速的在线训练系统的实现具有一定的参考意义。

关键词：深度神经网络在线训练优化算法 FPGA

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

大学生在线训练的过程控制与评价体系

中国大学教学 2020年第8期 37-42页

作者：高小鹏北京航空航天大学计算机学院

围绕复杂工程问题培养学生能力是当前专业建设的着力点。针对能力培养中的过程控制与评价方面的问题,本文以计算机专业在线训练为基础,描述了一种多回路多周期的过程控制模型和多维度多层次的评价指标体系,旨在服务于以可控方式达成能... 详细信息

围绕复杂工程问题培养学生能力是当前专业建设的着力点。针对能力培养中的过程控制与评价方面的问题,本文以计算机专业在线训练为基础,描述了一种多回路多周期的过程控制模型和多维度多层次的评价指标体系,旨在服务于以可控方式达成能力培养目标。本文介绍的技术途径对计算机大类专业具有一定普适性。

关键词：一流专业在线训练能力培养过程控制评价体系

基于CNN的跨年龄人脸识别在线训练算法设计与实现

在线全文

学校读者我要写书评

暂无评论

基于CNN的跨年龄人脸识别在线训练算法设计与实现

作者：缪烨昊东南大学

学位级别：硕士

近年来,基于深度学习的人脸识别算法取得了长足的发展,依靠其安全可靠和使用便捷的优点,在社会生活中已经得到了广泛应用。但是对于人脸特征库未及时更新带来的年龄跨度较大的人脸识别任务,一般的人脸识别技术遇到了一定的瓶颈。现有的... 详细信息

近年来,基于深度学习的人脸识别算法取得了长足的发展,依靠其安全可靠和使用便捷的优点,在社会生活中已经得到了广泛应用。但是对于人脸特征库未及时更新带来的年龄跨度较大的人脸识别任务,一般的人脸识别技术遇到了一定的瓶颈。现有的跨年龄人脸识别技术计算复杂,且泛化能力有限,距离部署到移动终端,形成落地应用尚有一段距离。另一方面,因为神经网络的训练需要巨大的计算和存储资源,目前的神经网络模型在服务器训练完成部署到端侧设备后,参数不再改变,这就很难适应复杂多变的真实场景。因此,面向嵌入式移动终端,实现高效的跨年龄人脸识别和在线训练就具有相当强的现实意义。本文基于主流的跨年龄人脸识别技术中的判别式算法,简化了年龄和身份信息分离的处理流程,设计出一种基于线性特征分离的跨年龄识别模型。通过改进轻量级CNN网络,减小了特征提取所需的参数量和计算量;提出“两点表示法”表示年龄向量,提升年龄估计的准确性;使用多任务联合训练,有效地训练特征分离网络;提出适用于移动端在线训练的优化器算法,使得网络模型能够根据真实场景下的数据分布进行在线训练。针对人脸识别算法在移动端部署的需求,将人脸检测模型MTCNN进行8-bit量化,减小了硬件资源的压力;同时针对卷积神经网络自身的特性,对嵌入式程序设计和实现进行了优化,使用图像转列(im2col)和通用矩阵乘(GEMM)加速算法,有效提升了卷积计算效率。最后在嵌入式平台树莓派4B上实现了人脸识别在线训练算法。本文基于特征分离的跨年龄人脸识别算法,参数量仅为1.05M,在三个公开的跨年龄人脸数据集上取得了较为理想的准确率(CALFW-94.10%,MORPH-98.79%,Age DB-94.32%)。同时,本文提出的适用于移动端的人脸识别在线训练的功能,单次遍历CALFW测试集进行真实场景在线训练的仿真可以取得0.1%的精度提升。人脸识别算法在移动平台树莓派4B上实现了11fps的运行速度(人脸检测+识别)。本文的研究对未来高精度快速的跨年龄人脸识别技术,特别是在线学习的最终实现,具有一定的参考价值。

关键词：卷积神经网络跨年龄人脸识别在线训练树莓派

基于BP神经网络在线训练的开关磁阻电机无位置控制仿真研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

通化师范学院学报 2023年第8期44卷 63-67页

作者：沈恂刘世军陈晨刘娟蚌埠学院安徽蚌埠233030

针对开关磁阻电机无位置控制系统的转子位置估计模型,提出了一种基于BP神经网络在线训练转子位置辨识方法,通过生成神经网络的M程序,动态提取训练样本,对神经网络进行批量次训练,最终获得精确的估算转子位置角度.仿真实验表明:开关磁阻... 详细信息

针对开关磁阻电机无位置控制系统的转子位置估计模型,提出了一种基于BP神经网络在线训练转子位置辨识方法,通过生成神经网络的M程序,动态提取训练样本,对神经网络进行批量次训练,最终获得精确的估算转子位置角度.仿真实验表明:开关磁阻电机在不同的工况情况下,系统的实际转子位置与估计转子位置之间的误差较小,其估算转子位置角度精度较高,具有良好的动态响应能力,从而实现开关磁阻无位置精确控制.

关键词：开关磁阻电机在线训练 BP神经网络无位置

在线全文

学校读者我要写书评

暂无评论

大连空管站培训课程管理及在线训练系统构建

大连空管站培训课程管理及在线训练系统构建

作者：赵璟璐大连理工大学

学位级别：硕士

随着“民航强国战略”的不断推进,空管系统也正步入高速发展期,随之而来的是空管技术的日新月异,因而也要求从业者不断提高自身业务素质,以满足不断发展的业务需要,而培训恰是满足这一要求的有效抓手。故空管从业人员对培训工作关注度... 详细信息

随着“民航强国战略”的不断推进,空管系统也正步入高速发展期,随之而来的是空管技术的日新月异,因而也要求从业者不断提高自身业务素质,以满足不断发展的业务需要,而培训恰是满足这一要求的有效抓手。故空管从业人员对培训工作关注度呈逐年上升趋势,同时越来越多的培训项目也进入了空管工作者的视野,为有效整合培训资源,切实发挥培训作用,解决大连空管站面临的培训工作困境,构建一套合理实用的培训课程体系成为一种必然。当然,体系的建立需要配套应用系统的支持,且为了评估培训质量,提高培训效益,考虑大连空管站实际情况,系统中的在线考试的功能也成为关注的焦点。因此需要设计出一款易于操作和维护,界面友好,相对完善、高效的培训业务管理系统。该系统采用Windows7标准操作系统运行环境,采用WampServer软件整合包进行设计系统,包括课程设置、在线学习、在线考试、资源管理等模块,用户可直接按照自身用户权限进行相关操作,所有数据均保存于数据库内。考虑未来发展需要,该系统呈开放式,可根据工作单位实际发展需求实时调整或更新内容。按此设计思路,最终设计开发出一套以需求为指引,操作简便,效率较高,成本可控的培训课程管理及在线训练系统。

关键词：培训课程管理在线训练数据库

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于嵌入式系统的神经网络在线训练平台实现

传感器与微系统 2010年第8期29卷 100-103页

作者：王健伟宋执环浙江大学工业控制研究所工业控制技术国家重点实验室浙江杭州310027

基于最新的工业应用双核处理器OMAP—L137设计了一种神经网络软测量模型在线训练平台。该平台以ARM与浮点DSP双核控制器为核心。针对神经网络隐含层节点数、训练中止条件、学习率等相关参数的确定进行了研究与测试,将优化的神经网络算... 详细信息

基于最新的工业应用双核处理器OMAP—L137设计了一种神经网络软测量模型在线训练平台。该平台以ARM与浮点DSP双核控制器为核心。针对神经网络隐含层节点数、训练中止条件、学习率等相关参数的确定进行了研究与测试,将优化的神经网络算法成功移植到嵌入式平台,支持神经网络软测量模型的在线训练。通过对相关数据集的测试,结果表明:系统具有高速、高精度等优良性能。

关键词：嵌入式系统软测量在线训练神经网络

一种基于在线训练的交通信息实时预测快速算法

在线全文

学校读者我要写书评

暂无评论

数学的实践与认识 2008年第11期38卷 73-78页

作者：曹凯李士明山东理工大学交通与车辆工程学院山东淄博255049

对于实时交通信息预测,预测精度与预测时间效率始终是一对难以解决的矛盾.重点研究如何提高预测时间效率问题.以精确在线支持向量回归算法(AOSVR)为基础,提出了基于云模型的sigmoid核函数简化计算方法,建立了改进的AOSVR交通信息实时预... 详细信息

对于实时交通信息预测,预测精度与预测时间效率始终是一对难以解决的矛盾.重点研究如何提高预测时间效率问题.以精确在线支持向量回归算法(AOSVR)为基础,提出了基于云模型的sigmoid核函数简化计算方法,建立了改进的AOSVR交通信息实时预测模型.该模型应用于实际的交通流实时预测,预测结果表明,由于简化了计算,以损失较小回归精度的代价,显著提高AOSVR模型预测效率.

关键词：在线训练 AOSVR 云模型核函数实时预测

在线全文

学校读者我要写书评

暂无评论

基于嵌入式系统的在线训练软测量平台

基于嵌入式系统的在线训练软测量平台

作者：王健伟浙江大学

学位级别：硕士

在嵌入式系统上实现神经网络、支持向量机等软测量技术有着广泛的应用需求,同时面临巨大的研究挑战。针对石油化工、冶金等复杂过程的软测量问题,本文以ARM与浮点DSP双核控制器OMAP-L137为核心设计了一种嵌入式软测量在线训练平台。以... 详细信息

在嵌入式系统上实现神经网络、支持向量机等软测量技术有着广泛的应用需求,同时面临巨大的研究挑战。针对石油化工、冶金等复杂过程的软测量问题,本文以ARM与浮点DSP双核控制器OMAP-L137为核心设计了一种嵌入式软测量在线训练平台。以实时性为目标,对相关因素进行研究,优化了神经网络与支持向量机算法,并成功移植到嵌入式平台,实现软测量模型的在线训练。通过对相关数据集的测试,结果表明系统具有高实时性、高精度等优良性能。本文详细阐述了基于嵌入式系统的在线训练软测量平台的开发工作,主要贡献与创新点有: （1）完成OMAP-L137双核软硬件平台搭建（OMAP-L137为TI第一款面向工业应用的双核控制器）。针对硬件与软件,本平台采用模块化设计的方法。平台由核心板、扩展底板、面板、接口板等组成,软件分为底层函数、应用模块函数与主程序等,具有高度的灵活性。（2）神经网络与支持向量机算法的嵌入式实现。分别针对神经网络的隐层节点数、训练终止条件、学习率等相关参数,支持向量机的惩罚因子、径向基函数gamma参数、不敏感区域（容忍经验风险）、训练终止条件等因素的确定进行了完整的系统研究与测试,并提出了一整套通用移植策略。改进的神经网络与支持向量机算法在精度损失不大的情况下,有效地提高了实时性。（3）软测量模型在线训练平台与训练策略的实现。在综合嵌入式系统硬件与软件、神经网络与支持向量机算法的嵌入式系统实现的基础上,搭建了基于嵌入式系统的在线训练软测量平台,提出了一种自适应参数自动调整策略与手动设置相结合的软测量模型在线训练策略。在线训练平台功能强大、操作简单、携带方便,是一体化的便携式在线训练与测量仪表。同时与离线训练仪表不同的是,移植到该仪表的神经网络算法与支持向量机算法能支持软测量模型或模式识别的在线训练。该平台为石油化工等复杂过程的软测量提供了一种低成本、便携式、高实时性的解决方案。

关键词：嵌入式系统软测量在线训练支持向量机神经网络