检索结果-南通市图书馆

在线全文

学校读者我要写书评

暂无评论

面向高能物理分级存储的文件访问热度预测

计算机工程 2021年第2期47卷 126-132页

作者：程振京汪璐程耀东陈刚胡庆宝李海波中国科学院高能物理研究所北京100049 中国科学院大学北京100049 中国科学院高能物理研究所天府宇宙线研究中心成都610041

高能物理计算是典型的数据密集型计算,其主要采用基于文件的分级存储方案,根据访问热度的不同将数据存储于不同性能的存储设备上,然而当前数据热度预测采用基于人工经验的启发式算法,准确率较低。提出一种借助长短期记忆网络预测文件未... 详细信息

高能物理计算是典型的数据密集型计算,其主要采用基于文件的分级存储方案,根据访问热度的不同将数据存储于不同性能的存储设备上,然而当前数据热度预测采用基于人工经验的启发式算法,准确率较低。提出一种借助长短期记忆网络预测文件未来访问热度的方法,包括网络结构设计、训练和预测算法等。该方法通过划分动态时间窗口构造文件访问特征的时序序列,预测不同数据的访问趋势。在LHAASO高能物理实验数据集上的实验结果表明,与SVM、MLP等算法相比,该方法预测准确率提升了30%左右,具有更强的适用性。

关键词：分级存储文件访问特征时序数据长短期记忆网络文件访问热度

在线全文

学校读者我要写书评

暂无评论

分布式存储系统的哈希算法研究

计算机工程与应用 2014年第1期50卷 1-4,77页

作者：黄秋兰程耀东陈刚中国科学院高能物理研究所计算中心北京100049

针对分布式存储系统中如何实现数据在物理存储上的均匀分布和高效定位的问题,对多种哈希算法展开研究,提出了衡量分布式存储系统哈希算法优劣的标准;从散列分布性、哈希冲突和计算效率等多个维度对这些哈希算法进行分析比较,指出各种哈... 详细信息

针对分布式存储系统中如何实现数据在物理存储上的均匀分布和高效定位的问题,对多种哈希算法展开研究,提出了衡量分布式存储系统哈希算法优劣的标准;从散列分布性、哈希冲突和计算效率等多个维度对这些哈希算法进行分析比较,指出各种哈希算法的应用场景;结合分布式存储系统的应用,给出最优的哈希算法选择。实验结果证明,Davies-Meyer算法具有很好的均匀分布性和很高的计算效率,很适合分布式存储系统的应用。

关键词：分布式存储系统哈希算法散列分布性哈希冲突 Davies-Meyer算法

海量存储文件系统CastorFS的设计与实现

在线全文

学校读者我要写书评

暂无评论

计算机工程与应用 2006年第4期42卷 108-110,117页

作者：陈志凌程耀东刘爱贵陈刚中国科学院研究生院北京100049 中国科学院高能物理研究所计算中心北京100049

文章首先介绍CERN存储管理软件CASTOR的体系结构及其特点。然后,详细描述基于CASTOR设计和实现的本地海量存储文件系统CastorFS,包括基本技术线路、内核模块和应用层模块设计以及性能测试和优化等。实验数据说明,该文件系统具有高性能... 详细信息

文章首先介绍CERN存储管理软件CASTOR的体系结构及其特点。然后,详细描述基于CASTOR设计和实现的本地海量存储文件系统CastorFS,包括基本技术线路、内核模块和应用层模块设计以及性能测试和优化等。实验数据说明,该文件系统具有高性能、良好的可扩展性、使用方便等特点,能很好地满足高能物理实验的计算需求。

关键词：海量存储文件系统分级存储管理

CIMS环境下Intranet网络系统方案的研究

在线全文

学校读者我要写书评

暂无评论

中国机械工程 1999年第2期10卷 156-159页

作者：刘敏潘晓弘程耀东钱碧波浙江大学杭州市310027

在分析与讨论企业CIMS处理信息以及构造Intranet网络的C／S、C／NS两种分布式计算方案基石出上,提出Web环境下CIMS的逻辑结构框架；应用这种框架结构，给出一种实施企业CIMS工程的Intranet网络系统方案。

关键词：网络系统方案 CIMS Intranet

在线全文

学校读者我要写书评

暂无评论

海量存储系统的数据分布策略研究

计算机工程与应用 2014年第10期50卷 1-6,37页

作者：黄秋兰武杰程耀东陈刚中国科学院高能物理研究所计算中心北京100049

针对海量存储系统中数据分布存在可扩展性以及灵活性的问题,提出一种高效的数据分布算法。该算法采用一致性哈希的存储思想,利用"二分"的映射方式映射物理存储节点,摒弃了Chord算法中每台节点对路由表维护的做法,实现O(1)时间内直接路... 详细信息

针对海量存储系统中数据分布存在可扩展性以及灵活性的问题,提出一种高效的数据分布算法。该算法采用一致性哈希的存储思想,利用"二分"的映射方式映射物理存储节点,摒弃了Chord算法中每台节点对路由表维护的做法,实现O(1)时间内直接路由。该算法还采用了"微分逼近"的思想,实现数据的均匀分布性。实验结果证明,TTD算法具备数据分布无关性的特点,且当物理节点逼近2N(N>0)时,数据分布就会越均匀。反之,可以通过虚拟节点的引入,确保数据的均匀分布。算法改进了海量存储系统中数据分布的均匀程度,有效优化了系统的整体性能。

关键词：海量存储系统一致性哈希数据分布 Chord算法

在线全文

学校读者我要写书评

暂无评论

支持动态联盟的敏捷供应链系统建模技术研究

中国机械工程 2001年第Z1期12卷 64-67页

作者：仲智刚潘晓弘郭鸣程耀东浙江大学机械系生产工程研究所浙江大学计算机系人工智能研究所

在分析敏捷供应链本质的基础上 ,结合递阶控制思想、Agent技术和多视图建模方法 ,建立了敏捷供应链系统的模型 ( H-ASCM) ,该模型主要包括概念模型和多视图模型 2部分。利用此模型 ,能够较好地实现企业的信息集成。

关键词：敏捷供应链动态联盟企业建模递阶控制

在线全文

学校读者我要写书评

暂无评论

可扩展的分布式元数据管理系统设计

计算机工程 2015年第5期41卷 26-32,37页

作者：黄秋兰程耀东杜然陈刚中国科学院高能物理研究所计算中心北京100049

为解决高能物理海量存储系统由于存储规模不断扩大所面临的问题,设计一种分布式元数据管理系统,包括元数据管理、元数据服务、缓存服务以及监控信息采集4个部分,在此基础上提出自适应目录子树划分算法,以目录为粒度进行元数据划分,根据... 详细信息

为解决高能物理海量存储系统由于存储规模不断扩大所面临的问题,设计一种分布式元数据管理系统,包括元数据管理、元数据服务、缓存服务以及监控信息采集4个部分,在此基础上提出自适应目录子树划分算法,以目录为粒度进行元数据划分,根据集群负载情况调整目录子树,实现元数据信息在元数据集群中的合理存储和分布。实验结果证明,该算法能提高元数据的访问和检索性能,提供可扩展及动态负载均衡的元数据服务,以保证该元数据管理系统的可用性、扩展性及I/O性能不会因存储规模扩大而受到影响,满足高能物理实验日益增长的存储需求。

关键词：元数据管理动态可扩展元数据分布 Ceph文件系统 Gluster文件系统 Lustre文件系统

在线全文

学校读者我要写书评

暂无评论

计算系统虚拟化平台的研究及实现

科研信息化技术与应用 2016年第3期7卷 8-12页

作者：崔涛程耀东中国科学院高能物理研究所 100049

虚拟化技术是高性能计算系统规模化的关键技术。高能所计算资源虚拟实验床采用OpenS tack云平台搭建环境。本文讨论了实现虚拟计算资源与计算系统相互融合的三个关键因素:网络架构设计、环境匹配和系统总体规划。本文首先讨论了虚拟网... 详细信息

虚拟化技术是高性能计算系统规模化的关键技术。高能所计算资源虚拟实验床采用OpenS tack云平台搭建环境。本文讨论了实现虚拟计算资源与计算系统相互融合的三个关键因素:网络架构设计、环境匹配和系统总体规划。本文首先讨论了虚拟网络架构。虚拟化平台通过部署neutron组件、OVS以及802.1Q协议来实现虚拟网络和物理网络的二层直连,通过配置物理交换机实现三层转发,避免了数据经过OpenS tack网络节点转发的瓶颈。其次,虚拟计算资源要融入计算系统,需要与计算系统的各个组件进行信息的动态同步,以满足域名分配、自动化配置以及监视等系统的需要。文章介绍了自主开发的NETDB组件,该组件负责实现包括虚拟机与域名系统(DNS)、自动化安装和管理系统(puppet)以及监视系统的信息动态同步等功能;最后,在系统总体规划中,文章讨论了包括统一认证、共享存储、自动化部署、规模扩展和镜像等内容。

关键词：虚拟化云计算高性能计算 OpenStack

维普期刊数据库评论

在线全文

维普期刊数据库

学校读者我要写书评

暂无评论

面向同步辐射光源图像的可并行智能压缩方法

计算机工程 2023年第1期49卷 234-241,249页

作者：符世园张敏行高宇汪璐程耀东中国科学院高能物理研究所北京100049 中国科学院大学北京100049 中国科学院高能物理研究所天府宇宙线研究中心成都610041

在建的高能同步辐射光源预计会产生海量原始数据,其中硬X射线实验线站产生的图像数据占比最高且具有高分辨率和高帧率的特点,亟需有效的无损压缩方法缓解存储和传输压力,然而现有通用无损压缩方法对该类图像压缩效果不佳,基于深度学习... 详细信息

在建的高能同步辐射光源预计会产生海量原始数据,其中硬X射线实验线站产生的图像数据占比最高且具有高分辨率和高帧率的特点,亟需有效的无损压缩方法缓解存储和传输压力,然而现有通用无损压缩方法对该类图像压缩效果不佳,基于深度学习的无损压缩方法又耗时较长。结合同步辐射光源图像的特点,提出一种在保证图像压缩比前提下的可并行智能无损图像压缩方法。通过参数自适应的可逆分区量化方法,大幅缩小图像经过时间差分后的像素值分布范围,能够节省20%以上的存储空间。将以CNN为基础架构的时空学习网络C-Zip作为概率预测器,同时以数据集为单位过拟合训练模型进一步优化图像压缩比。针对压缩过程中耗时较长的算术编码过程,利用概率距离量化代替算术编码,结合深度学习进行无损编码,增加编码过程的并行度。实验结果表明,该方法的图像压缩比相比于PNG、FLIF等传统图像无损压缩方法提升了0.23~0.58,对于同步辐射光源图像具有更好的压缩效果。

关键词：无损压缩同步辐射光源图像深度学习可逆量化概率距离