检索结果-南通市图书馆

维普期刊数据库评论

在线全文

维普期刊数据库

学校读者我要写书评

暂无评论

基于GPT模型语义反馈的多切分选择算法

南开大学学报（自然科学版） 2023年第6期56卷 19-23页

作者：许美佳孙羽菲王娜张玉志南开大学软件学院天津300450

切分是光学字符识别中一个至关重要的步骤,它直接影响着最终文本识别的准确性.传统光学字符识别一般是针对给定的文本图像提供单一的切分策略,但在处理低质量或者格式多变的图像时效果较差.研究了多切分候选的选择问题,提出了一种针对... 详细信息

切分是光学字符识别中一个至关重要的步骤,它直接影响着最终文本识别的准确性.传统光学字符识别一般是针对给定的文本图像提供单一的切分策略,但在处理低质量或者格式多变的图像时效果较差.研究了多切分候选的选择问题,提出了一种针对多切分候选的基于GPT模型语义反馈的切分选择算法.实验表明,本文提出的算法,通过与GPT模型的语义评估能力有效结合,对低质量文本图像的切分任务取得了显著的改进,进一步提升了识别的准确率.

关键词： GPT模型语义反馈多切分分支限界法

一种面向通用计算设备的自动流水线并行训练框架

在线全文

学校读者我要写书评

暂无评论

计算机科学 2024年

作者：钟震宇林勇良王昊天李东闻孙羽菲张玉志南开大学软件学院

训练大规模神经网络通常会超出单个计算节点的内存和计算能力，需要通过使用多个节点分布式训练来实现。现有的分布式深度学习框架主要针对特定的硬件环境设计，不能够有效适应各类通用计算设备。为支持大规模深度神经网络的高效训练，... 详细信息

训练大规模神经网络通常会超出单个计算节点的内存和计算能力，需要通过使用多个节点分布式训练来实现。现有的分布式深度学习框架主要针对特定的硬件环境设计，不能够有效适应各类通用计算设备。为支持大规模深度神经网络的高效训练，本文实现了一种通用的自动流水线并行分布式训练框架。本框架通过结合基于流水线并行的模型并行策略与根据自动拆分神经网络模型的算法，实现了在包括国内新一代超级计算机在内的通用计算机集群上，对大规模神经网络模型与训练数据进行自动并行化处理和训练，显著减轻单个计算节点的内存和计算压力。该框架无需人工调整，可以自动高效地在多节点分布式环境中部署深度神经网络；不仅适用于超级计算机等高性能计算机集群，还可以部署到其他通用的分布式计算环境中，为大规模神经网络的自动化分布式训练提供支持。

关键词：流水线并行深度神经网络超级计算机 MPI 并行计算

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

基于知识图谱的图匹配文本分类

数据与计算发展前沿 2022年第2期4卷 39-49页

作者：兰格王瑾瑜孙羽菲张玉志南开大学软件学院天津300350

【目的】在自然语言处理领域,文本分类是十分重要的基础研究,可以应用于许多下游任务中,例如文章检索、推荐系统、问答系统等。受到知识图谱在文本推理领域发挥作用的启发,本文探索了将知识图谱应用于文本分类任务的方法,在降低对标注... 详细信息

【目的】在自然语言处理领域,文本分类是十分重要的基础研究,可以应用于许多下游任务中,例如文章检索、推荐系统、问答系统等。受到知识图谱在文本推理领域发挥作用的启发,本文探索了将知识图谱应用于文本分类任务的方法,在降低对标注训练数据依赖的同时利用知识图谱的推理能力提升文本分类的效果。【方法】本文提出了基于知识图谱的图匹配文本分类算法。具体而言,依据分类目标,为每一个类别构建了该类别的知识图谱,模型基于类别知识图谱中的语义和连接信息对文本与各个类别的相关性进行推理,综合各个知识图谱的推理评估结果。【结论】为了证明本文提出的方法的有效性,本文构建了分类所需的知识图谱并在两个数据集上进行了实验,实验结果证明在允许一定拒绝的前提下,此模型具有很高的准确率,进一步推动了算法的应用落地。

关键词：文本分类知识图谱图匹配知识图谱构建信息抽取

玲珑：一个小规模的高质量中文预训练语言模型

在线全文

学校读者我要写书评

暂无评论

计算机研究与发展 2024年

作者：李东闻钟震宇孙羽菲申峻宇马子智于川越张玉志信创海河实验室南开大学软件学院

近年来，大规模的、基于自回归的中文预训练语言模型在各种自然语言处理任务上表现出优异性能.然而，高昂的计算成本以及基于中文词切分数据给中文预训练语言模型实际应用带来了巨大挑战.此外，大多基于自回归的模型只能使用单向前文信... 详细信息

近年来，大规模的、基于自回归的中文预训练语言模型在各种自然语言处理任务上表现出优异性能.然而，高昂的计算成本以及基于中文词切分数据给中文预训练语言模型实际应用带来了巨大挑战.此外，大多基于自回归的模型只能使用单向前文信息，可能会导致模型在上下文敏感任务上的性能有所下降.为了解决以上问题，提出并训练了一个高质量的小型中文预训练语言模型——玲珑.该模型仅有3.17亿个参数，较小的规模使得玲珑十分容易部署和应用.使用基于汉字的策略对训练语料进行切分，可以有效减轻未知标记和分词错误带来的负面影响，增强了玲珑在下游任务上的性能.此外，通过对每条训练数据的输入顺序进行逆序处理，训练了一个反向玲珑模型.将玲珑与其反向版本相结合，可以实现在下游任务中使用双向信息.多种自然语言处理下游任务上的实验结果表明，玲珑具有不错的处理下游任务的能力.在6个数据集上玲珑超越了相近规模模型的性能，在5个数据集上超越了大模型的性能.

关键词：中文预训练语言模型小规模基于汉字的模型反向模型双向信息

OclDNN:一种可应用于TensorFlow的通用DNN库

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

计算机工程 2023年第4期49卷 138-148页

作者：陈锐孙羽菲郭强隋轶丞周振辉石昌青张玉志南开大学软件学院天津300457 先进计算与关键软件海河实验室天津300459

深度学习模型的构建、训练以及推理离不开TensorFlow等机器学习框架中深度学习算子的支撑,对于卷积、池化等深度学习中被高频调用或计算量较大的算子,机器学习框架一般通过调用深度神经网络(DNN)库来提升计算效能。现有DNN库主要由英伟... 详细信息

深度学习模型的构建、训练以及推理离不开TensorFlow等机器学习框架中深度学习算子的支撑,对于卷积、池化等深度学习中被高频调用或计算量较大的算子,机器学习框架一般通过调用深度神经网络(DNN)库来提升计算效能。现有DNN库主要由英伟达、AMD等少数国外厂商开发并根据自有硬件设备特点进行优化,但其封闭性导致其他厂商生产的通用加速器难以在深度学习领域发挥作用。为解决现有DNN库无法支持国产加速器的问题,使得深度学习模型能够调用国产加速器进行运算,研究跨平台的通用DNN库,通过对开源MIOpen的结构特点和调用方式进行分析,提出修改和重构该库的方法,并实现一种基于OpenCL的DNN(OclDNN)库。考虑到TensorFlow较高的流行度及其对DNN库调用的特殊性与复杂性,研究通用DNN库在TensorFlow中的集成方法,通过StreamExecutor中的OpenCL平台实现对OclDNN的调用。实验结果表明,OclDNN在英伟达、华为等不同厂商的计算设备上运算结果正确可靠,在相同实验环境下,深度学习算子使用OclDNN时的加速性能比传统CPU并行算法提升了5~60倍。

关键词：深度神经网络库深度学习开放计算语言硬件加速器 TensorFlow框架

在线全文

学校读者我要写书评

暂无评论

基于不对称性的相似汉字识别方法

中文信息学报 2004年第2期18卷 51-57页

作者：孙羽菲陈艳张玉志中国科学院计算技术研究所

相似字识别的正确与否对整个识别系统的准确性和可用性都有着极大的影响。在实际应用中 ,我们发现相似汉字之间的误识存在不对称性 ,并对这种不对称现象的成因进行了细致的探讨和分析。基于这种不对称性 ,本文提出了一种分类的部分空间... 详细信息

相似字识别的正确与否对整个识别系统的准确性和可用性都有着极大的影响。在实际应用中 ,我们发现相似汉字之间的误识存在不对称性 ,并对这种不对称现象的成因进行了细致的探讨和分析。基于这种不对称性 ,本文提出了一种分类的部分空间方法来解决相似字的识别问题。相似字按其结构特点被分成若干基本类别 ,不同类别在相应的部分空间提取不同的特征进行比较 ,以达到正确识别相似字的目的。实验结果表明了本方法的有效性 ,相似字识别的准确性得到了很大的提高 ,其中易错相似字的识别正确率平均提高了4 5 5个百分点 ,不易错相似字的识别正确率平均提高了 0 38个百分点。

关键词：人工智能模式识别不对称性相似汉字识别部分空间法分类

在线全文

学校读者我要写书评

暂无评论

灰度图像中字符切分方法的研究

中文信息学报 2004年第4期18卷 44-49页

作者：陈艳孙羽菲张玉志中国科学院计算技术研究所中国科学院研究生院北京100039

字符切分目前已经成为限制OCR技术发展的瓶颈 ,对于图像质量较差、中英文混排和背景色变化的文本图像 ,传统切分方法造成的切分错误使得文字识别率大大降低。针对这些问题 ,本文提出了新型文字切分方法。该方法先将灰度图像的灰度值进... 详细信息

字符切分目前已经成为限制OCR技术发展的瓶颈 ,对于图像质量较差、中英文混排和背景色变化的文本图像 ,传统切分方法造成的切分错误使得文字识别率大大降低。针对这些问题 ,本文提出了新型文字切分方法。该方法先将灰度图像的灰度值进行分级处理 ,再根据分级连通域的概念把整个图像构造成树状结构 ,然后确定主层次级别 ,根据一定的规则在部分节点上进行合并、分割等进一步处理 ,最后得到最优的切分结果。实验结果表明。

关键词：人工智能模式识别字符切分灰度图像 OCR

基于OpenCL的TensorFlow框架中Element-Wise算子实现

在线全文

学校读者我要写书评

暂无评论

数据与计算发展前沿 2022年第3期4卷 19-29页

作者：隋轶丞石昌青孙羽菲张玉志陈禹乔张宇哲南开大学软件学院天津300350 先进计算与关键软件海河实验室天津300350

【目的】深度学习模型以较强的建模性能和优秀的多场景适应能力被广泛应用于各类典型人工智能领域。目前通常采用异构并行计算技术满足深度学习模型的算力需求,然而目前深度学习框架普遍使用CUDA或ROCm等编程模型,仅能支持特定厂商设备... 详细信息

【目的】深度学习模型以较强的建模性能和优秀的多场景适应能力被广泛应用于各类典型人工智能领域。目前通常采用异构并行计算技术满足深度学习模型的算力需求,然而目前深度学习框架普遍使用CUDA或ROCm等编程模型,仅能支持特定厂商设备;对于通用异构计算设备,需要通过OpenCL编程标准实现支持,因此我们着力于实现TensorFlow框架的OpenCL版本。【方法】本文对TensorFlow框架中主要基于Eigen库提供的接口实现的Element-Wise算子进行代码分析,拆解对应结构体和类的封装方式,并基于OpenCL的编程标准对Element-Wise算子进行实现和封装,确保了代码的规范性和可扩展性。【结果】本文以CUDA算子为基准,对OpenCL的Element-Wise算子进行测试和对比,实验结果分别从正确性和计算效率两方面验证了本文OpenCL版本算子实现的可行性。【结论】作为实现OpenCL版本的TensorFlow框架这一工作的重要组成部分,本文成功实现了TensorFlow框架中Element-Wise算子的OpenCL版本,并经过实验验证了本文实现的算子的计算准确性和计算效率。

关键词： OpenCL TensorFlow 核函数

基于知识图谱技术的线上教学资源推荐系统设计与实现

在线全文

学校读者我要写书评

暂无评论

数据与计算发展前沿 2022年第3期4卷 3-18页

作者：罗婕溪刘帅张玉志李正丹孙羽菲张圣林南开大学软件学院天津300350

【目的】本文立足于线上教学资源领域,利用知识图谱相关技术,设计并实现一种融合多种推荐策略的推荐系统。【应用背景】线上教学资源种类繁杂、数量众多,且缺乏规范化构建和系统化管理,为教师管理教学资源及学习者查找有效信息造成诸多... 详细信息

【目的】本文立足于线上教学资源领域,利用知识图谱相关技术,设计并实现一种融合多种推荐策略的推荐系统。【应用背景】线上教学资源种类繁杂、数量众多,且缺乏规范化构建和系统化管理,为教师管理教学资源及学习者查找有效信息造成诸多不便。【方法】通过设计知识图谱数据结构,构建全学科内知识语义关联,融合图嵌入和规则抽取的方法,实现教学资源推荐。【结果】本文提出的线上教学资源推荐系统已应用于南开大学教学资源网平台,在多学科领域内的知识点推荐中展现出较好的效果。【结论】通过实验结果分析,验证了本文推荐系统在缓解“长尾效应”方面的有效性,并通过可视化案例分析,验证了其实用性。

关键词：知识图谱教学资源推荐系统图嵌入