检索结果-南通市图书馆

在线全文

学校读者我要写书评

暂无评论

跨域数据管理

计算机科学 2024年第1期51卷 4-12页

作者：杜小勇李彤卢卫范举张峰柴云鹏数据工程与知识工程教育部重点实验室(中国人民大学) 北京100872 中国人民大学信息学院北京100872

随着数据成为新的生产要素和数字中国顶层战略的推进,跨域数据共享和流通对于实现数据要素价值最大化变得至关重要。国家通过布局全国一体化大数据中心体系、启动“东数西算”工程等一系列举措,为数据要素的跨域应用提供了基础设施。然... 详细信息

随着数据成为新的生产要素和数字中国顶层战略的推进,跨域数据共享和流通对于实现数据要素价值最大化变得至关重要。国家通过布局全国一体化大数据中心体系、启动“东数西算”工程等一系列举措,为数据要素的跨域应用提供了基础设施。然而,传统的数据管理局限于单一域内,无法满足跨域场景下的数据管理需求。跨域数据管理面临通信层面的跨空间域挑战、数据建模层面的异构模型融合问题,以及数据访问层面的跨信任域挑战。从跨空间域、跨管辖域和跨信任域3个视角出发,探讨了跨域数据管理的内涵、研究挑战及关键技术,并展望了其未来发展趋势。

关键词：数据管理跨空间域跨管辖域跨信任域

在线全文

学校读者我要写书评

暂无评论

一种新型瓦记录磁盘的高可靠数据存储方法

软件学报 2022年第12期33卷 4851-4868页

作者：吴坤尧柴云鹏张大方王鑫数据工程与知识工程教育部重点实验室(中国人民大学) 北京100872 中国人民大学信息学院北京100872 天津大学智能与计算学部天津300350

近年来,传统磁记录的存储密度增长已经达到极限,为了满足快速增长的数据容量需求,多种新型存储技术不断涌现,其中瓦记录(shingledmagneticrecording,SMR)技术已实现商业化,在企业实际应用.由于瓦记录磁盘的叠瓦式结构,磁盘在随机写入时... 详细信息

近年来,传统磁记录的存储密度增长已经达到极限,为了满足快速增长的数据容量需求,多种新型存储技术不断涌现,其中瓦记录(shingledmagneticrecording,SMR)技术已实现商业化,在企业实际应用.由于瓦记录磁盘的叠瓦式结构,磁盘在随机写入时会引起写放大,造成磁盘性能下降.这一问题在部署传统的高可靠存储方案(如RAID5)时会变得更加严重,原因在于校验数据更新频率很高,磁盘内出现大量的随机写请求.研究发现瓦记录内部其实存在具有原位更新能力的“可覆盖写磁道(freetrack)”,基于“可覆盖写磁道”,提出了一种专门针对瓦记录盘的高可靠数据存储方法——FT-RAID,以替代经典的RAID5方法,实现一种廉价、大容量、高可靠的存储系统.FT-RAID包含两个部分:“可覆盖写磁道映射(FT-mapping)”和“可覆盖写磁道缓冲区(FT-buffer)”.FT-mapping实现了一种瓦记录友好的RAID映射方式,将频繁更新的校验块数据映射至“可覆盖写磁道”;FT-buffer实现了一种瓦记录友好的两层缓冲区结构,上层确保了热数据能够原位更新,下层提高了缓冲区的容量.基于真实企业I/O访问记录的实验结果表明,与传统RAID5相比,FT-RAID能够减少80.4%的写放大率,显著提高存储系统整体性能.

关键词：瓦记录 RAID 磁盘存储容错

在线全文

学校读者我要写书评

暂无评论

基于非易失性内存的知识图谱系统优化研究

计算机工程与应用 2023年

作者：柴艳峰李加姝李雨航柴云鹏张蔷张睿潘理虎太原科技大学计算机科学与技术学院中国人民大学信息学院中北大学经济与管理学院

分布式系统的高扩展性和高可用性使得在其上构建大规模知识图谱已经成为产业发展趋势。新兴的分布式图数据库更推崇采用NoSQL等数据模型，如键值存储作为其存储引擎，以进一步提高其可扩展性和实用性。在这种情况下，上层的图查询语言... 详细信息

分布式系统的高扩展性和高可用性使得在其上构建大规模知识图谱已经成为产业发展趋势。新兴的分布式图数据库更推崇采用NoSQL等数据模型，如键值存储作为其存储引擎，以进一步提高其可扩展性和实用性。在这种情况下，上层的图查询语言的语句会被翻译成一组混合的键值操作。为了加速查询翻译生成的键值操作，提出了基于非易失性内存查询性能加速（Knowledge Graph Booster， KGB）的知识图谱系统。KGB主要包含面向邻域查询加速的NVM辅助索引，用于降低键值存储的读取成本；快速响应的改进Raft算法，用于实现高效的键值存取操作；以及面向键值存储引擎的调优机制，为知识图谱存储系统获得额外的性能提升。通过实验表明，KGB能有效降低知识图谱系统的平均延迟和尾延迟的影响，实现更高的性能提升。

关键词：知识图谱键值存储非易失性内存性能优化

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

保障服务质量的节能流媒体存储系统

清华大学学报（自然科学版） 2010年第1期50卷 71-74页

作者：柴云鹏都志辉李三立清华大学计算机科学与技术系北京100084

为了节约能源并保障服务质量(quality of service,QoS),提出了一种保障服务质量的节能流媒体存储系统的设计。通过动态的磁盘分组和实时的数据交换,将所有磁盘划分为重负载的性能磁盘组和轻负载的节能磁盘组。提出视频数据分块算法,并... 详细信息

为了节约能源并保障服务质量(quality of service,QoS),提出了一种保障服务质量的节能流媒体存储系统的设计。通过动态的磁盘分组和实时的数据交换,将所有磁盘划分为重负载的性能磁盘组和轻负载的节能磁盘组。提出视频数据分块算法,并用以提高系统的节能效果和服务质量。实验数据表明:该系统适应流媒体应用的特点,在保障服务质量的前提下,节能效果是FT算法的16.34倍、PDC算法的4.47倍。

关键词：绿色计算流媒体节能存储服务质量(QoS)

MacroTrend: A Write-Efficient Cache Algorithm for NVM-Based Read Cache

在线全文

学校读者我要写书评

暂无评论

Journal of Computer Science & Technology 2022年第1期37卷 207-230页

作者：鲍宁柴云鹏秦啸王传雯 Key Laboratory of Data Engineering and Knowledge Engineering Ministry of EducationBeijing 100872China School of Information Renmin University of ChinaBeijing 100872China Samuel Ginn College of Engineering Auburn UniversityAlabama 36830U.S.A.

The future storage systems are expected to contain a wide variety of storage media and layers due to the rapid development of NVM(non-volatile memory)techniques.For NVM-based read caches,many kinds of NVM devices cannot stand frequent data updates due to limited write endurance or high energy consumption of writing.However,traditional cache algorithms have to update cached blocks frequently because it is difficult for them to predict long-term popularity according to such limited information about data blocks,such as only a single value or a queue that reflects frequency or recency.In this paper,we propose a new MacroTrend(macroscopic trend)prediction method to discover long-term hot blocks through blocks'macro trends illustrated by their access count histograms.And then a new cache replacement algorithm is designed based on the MacroTrend prediction to greatly reduce the write amount while improving the hit ratio.We conduct extensive experiments driven by a series of real-world traces and find that compared with LRU,MacroTrend can reduce the write amounts of NVM cache devices significantly with similar hit ratios,leading to longer NVM lifetime or less energy consumption.

关键词： non-volatile memory(NVM) solid state disk(SSD) cache endurance

维普期刊数据库评论

在线全文

维普期刊数据库

学校读者我要写书评

暂无评论

基于非重叠前缀集合的并行路由查找系统

电子学报 2004年第8期32卷 1277-1281页

作者：梁志勇徐恪吴建平柴云鹏清华大学计算机科学与技术系北京100084

快速的路由查找机制是高性能路由器设计的关键 .最长匹配查找是路由查找的难点所在 .本文提出一个并行路由查找系统 .它使用一种路由表划分方法 ,可将路由表中的前缀划分为若干个集合 ,集合内前缀没有重叠 .从而把路由表前缀的最长匹配... 详细信息

快速的路由查找机制是高性能路由器设计的关键 .最长匹配查找是路由查找的难点所在 .本文提出一个并行路由查找系统 .它使用一种路由表划分方法 ,可将路由表中的前缀划分为若干个集合 ,集合内前缀没有重叠 .从而把路由表前缀的最长匹配查找转化为若干个集合内前缀的唯一匹配查找 .基于这种方法 ,本文还提出一个通用的并行路由查找框架 ,框架适用于大多数路由查找算法 .并行查找框架可简化查找算法的设计 ,提高查找算法的速度 .使用二分查找算法 ,并行查找系统可以达到log2 (2N/B)的查找复杂度 (N为路由表前缀数目 ,B为大于 4的整数 ) .同时 ,并行查找系统对IPv6也具有很好的扩展性 .

关键词：最长前缀匹配二分查找路由查找路由更新

移动网格中负载自平衡的集群式边缘流媒体服务器

在线全文

学校读者我要写书评

暂无评论

计算机研究与发展 2007年第12期44卷 2136-2142页

作者：柴云鹏顾雷李三立清华大学计算机科学与技术系北京100084

迅速发展的3G网络和覆盖范围可达整个城域的Wi-Fi网络的逐渐普及,使移动网络环境中对流媒体服务的需求迅速增长.由于移动用户主要依赖Internet上的流媒体服务资源提供服务,所以位于无线网络和Internet交界处的边缘流媒体服务器可以充当... 详细信息

迅速发展的3G网络和覆盖范围可达整个城域的Wi-Fi网络的逐渐普及,使移动网络环境中对流媒体服务的需求迅速增长.由于移动用户主要依赖Internet上的流媒体服务资源提供服务,所以位于无线网络和Internet交界处的边缘流媒体服务器可以充当桥梁和缓冲区,对于降低网络负载和提高服务质量有显著的效果,因而提出一种新的集群架构的边缘流媒体服务器(CESS)的设计,而且针对集群服务器中最重要的负载均衡问题做了分析和测试,提出了一种新的MCLBS缓存替换算法来使CESS能够达到自适应的负载均衡.最后,实验测试和结果分析证明,相对于传统的缓冲替换算法,MCLBS算法更适合集群式的服务器体系结构,在同样的条件下,缓存命中率明显提高,大大降低远程服务器的带宽.

关键词：流媒体移动网格集群负载平衡缓存替换

面向SSD寿命优化的访问序列折叠缓存替换算法

在线全文

学校读者我要写书评

暂无评论

计算机科学与探索 2019年第1期13卷 35-44页

作者：唐琪王吉磊柴云鹏中国人民大学信息学院北京100872

SSD(solid state drive)的写入寿命比较有限,因此除命中率外,SSD缓存设备的写入量成为评价缓存替换算法的另一个关键指标。如何使算法提高写入数据转化为缓存命中的效率,从而延长SSD的使用寿命,具有重要的研究意义。目前,已有缓存替换... 详细信息

SSD(solid state drive)的写入寿命比较有限,因此除命中率外,SSD缓存设备的写入量成为评价缓存替换算法的另一个关键指标。如何使算法提高写入数据转化为缓存命中的效率,从而延长SSD的使用寿命,具有重要的研究意义。目前,已有缓存替换算法的设计一般基于时间局部性,即刚被访问的数据短期内被访问的概率较高,因此需要频繁的数据更新和较高写入量来保证较高命中率;或是通过不低的开销屏蔽相对最差的部分数据来减少一定的写入量,还缺少用低开销获得数据长期热度规律,有效提高缓存数据质量的算法。提出了访问序列折叠的缓存替换算法,用比较低的开销定位拥有长期稳定热度的数据写入缓存,明显提高了SSD缓存数据质量,在保证命中率的同时减少了SSD的写入量。实验表明,访问序列折叠算法相比LRU(least recently used)算法可在命中率损失低于10%的情况下减少90%的写入量,与SieveStore、L2ARC(level2 adjustable replacement cache)等写入优化缓存算法相比,命中率相当时可将写入量减少50%以上,有效达到了通过缓存高质量数据,减少SSD的写入量,延长其使用寿命的目的。

关键词：固态硬盘(SSD) 缓存 SSD寿命访问序列折叠缓存替换

在线全文

学校读者我要写书评

暂无评论

冷数据集中的流媒体存储系统节能方法

计算机科学 2012年第10期39卷 148-151,169页

作者：柴云鹏杨楠中国人民大学数据工程与知识工程教育部重点实验室北京100872 中国人民大学信息学院北京100872

快速增长的数据量使流媒体存储系统在降低能耗方面遇到严峻的挑战,而针对流媒体应用而进行的节能方法的研究还很少。在对流媒体存储系统的节能问题进行详细建模的基础上,定量地分析了数据分布对节能和流媒体服务质量的影响,发现只有冷... 详细信息

快速增长的数据量使流媒体存储系统在降低能耗方面遇到严峻的挑战,而针对流媒体应用而进行的节能方法的研究还很少。在对流媒体存储系统的节能问题进行详细建模的基础上,定量地分析了数据分布对节能和流媒体服务质量的影响,发现只有冷门数据的分布对节能的贡献最大,而且对服务质量的负面影响最小。提出了一种冷数据集中的节能方法,亦即将最冷的一部分数据集中存储在部分磁盘上来优化节能效果。实验表明,冷数据集中的节能算法在保障服务质量的前提下,使流媒体存储系统的节能效果获得了显著的提升。

关键词：节能冷数据流媒体绿色计算