检索结果-南通市图书馆

华东师范大学学报（自然科学版） 2023年第2期 73-81页

作者：官嘉林朱艳吴庭亮陈艳张敬伟桂林电子科技大学广西可信软件重点实验室广西桂林541004 桂林航天工业学院计算机科学与工程学院广西桂林541004

大数据时代,数据信息的不断膨胀给数据的快速存取带来了巨大挑战.因此,设计一种高效的索引结构具有重要意义. ALEX (updatable adaptive learned index)是一种利用机器学习模型代替传统B-树索引结构的学习索引,具有较好的时间、空间性能... 详细信息

大数据时代,数据信息的不断膨胀给数据的快速存取带来了巨大挑战.因此,设计一种高效的索引结构具有重要意义. ALEX (updatable adaptive learned index)是一种利用机器学习模型代替传统B-树索引结构的学习索引,具有较好的时间、空间性能,但存在频繁的缺页中断问题.为解决此问题,进一步提升ALEX性能,在ALEX基础上提出了一种基于大页内存的内存预分配策略,较好地降低了内存缺页中断率,提升了ALEX性能.在内存分配阶段,采用预分配策略;在内存回收阶段,则采用延迟释放策略.在Longitudes数据集上的实验表明,该策略具有良好的效果.

关键词：学习索引大页内存数据存取

来源：

维普期刊数据库博看期刊

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

基于大页内存的哼唱检索系统改进方法

引用

信息化研究 2017年第2期43卷 47-50页

作者：陈磊刘艳梅中国电子科技集团公司第28研究所南京210007

文章针对传统哼唱检索方案性能较低的问题,提出一种基于大页内存的哼唱检索系统改进方法,并选取n-gram模型搭建哼唱检索系统,分析大页内存技术对哼唱检索系统性能的改进效果,并通过实验验证了改进方案的有效性。

关键词：哼唱检索 n-gram模型大页内存

来源：

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

M2ram:云平台大页内存压缩系统

M2ram:云平台大页内存压缩系统

引用

作者：梁平浙江大学

学位级别：硕士

在当今的云计算环境下,为了提高物理资源的使用效率,单台物理服务器上整合了几十甚至上百个虚拟机来承载云业务。为了保证云业务的服务质量,物理服务器采用无交换分区的2M大内存页机制管理物理内存。然而Linux现有的大页管理机制Hugetl... 详细信息

在当今的云计算环境下,为了提高物理资源的使用效率,单台物理服务器上整合了几十甚至上百个虚拟机来承载云业务。为了保证云业务的服务质量,物理服务器采用无交换分区的2M大内存页机制管理物理内存。然而Linux现有的大页管理机制Hugetlbfs由于不支持内存压缩回收以及大页空间拓展性差,导致其不能很好地满足业务需求。同时,在实际的部署环境中,物理服务器内存中存在较多的重复数据,而现有的内存去重技术(KSM、UKSM)并不能很好地支持大页机制,致使宝贵的物理内存资源没有被充分的利用。为了提高云计算环境下物理服务器系统的性能和物理内存的使用效率(复用率),同时尽可能小地修改系统内核。本文将基于大页内存管理分配框架PHPA(Pristine Huge Page Allocator),设计和实现了一套大页内存压缩管理系统M2ram(2M ram)。该系统将不经常使用的大页压缩存放在内存中,以提高物理内存的复用率。为了实现本系统,本文完成了下列工作:(1)采用全新大页内存管理框架PHPA。该框架和Linux内核耦合性低,还可以大幅降低大页元数据的内存开销,进一步节省可用物理内存。(2)对业务场景进行分析,并根据其设计一套全新的从冷热页追踪、大页回收、内存压缩管理到缺页异常处理完整流程的大页压缩系统M2ram。利用多流压缩技术,提高了在NUMA架构下M2ram的并发能力。(3)提出了把2M大页数据压缩后存放到4k页空间的全新压缩数据存储管理机制。其空间浪费率低达1/512,不会产生碎片化问题。(4)相比于Hugetlbfs的串行缺页异常处理和复杂的SwapCache机制,本文实现了并行化大页缺页异常处理和去SwapCache机制,保证了内核的高响应。经仿真实验和标准化测试,此压缩系统使得内存复用率可达到2倍以上。此系统的高内存复用率、高响应以及高鲁棒性使得其有良好的工业应用前景。

关键词： Linux 内核大页内存内存压缩云计算

来源：

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

嵌入式InfiniBand网络用户态驱动技术研究

嵌入式InfiniBand网络用户态驱动技术研究

引用

作者：董俊鹏浙江大学

学位级别：硕士

高性能计算机具有比个人计算机更大的规模和更强的性能,具备每秒万亿次的计算能力。相应地,高性能计算机拥有显著增加的数据通信需求,传统的计算机内部总线共享通信已无法满足更加高速的网络互联需求。在这一背景下,高带宽、低延迟的Inf... 详细信息

高性能计算机具有比个人计算机更大的规模和更强的性能,具备每秒万亿次的计算能力。相应地,高性能计算机拥有显著增加的数据通信需求,传统的计算机内部总线共享通信已无法满足更加高速的网络互联需求。在这一背景下,高带宽、低延迟的Infini Band网络成为了数据中心网络互联的主流选择,即总线网络化。本文基于ARM+FPGA的异构计算嵌入式HCA卡平台,提出了嵌入式Infini Band网络的用户态驱动方案,将Linux系统中的网卡设备驱动分为用户态部分和内核态部分:用户态驱动部分实现了工作队列模块、完成队列模块和内存管理模块;内核态驱动部分负责地址映射,地址翻译,以及中断信号传递。从而可以在用户空间基于大页内存和地址转换表,管理工作队列并控制数据收发,完成中断处理操作。基于Infini Band网络用户态驱动,本文还提出了传输层的超时重传机制和出错重传（快重传）机制,作为保证网络通信双方可靠传输的解决方案。最后本文通过功能完整性实验验证了驱动方案的功能正确性,通过性能对比实验证实了用户态驱动的零拷贝机制能够有效避免上下文切换带来的开销,从而给整个网络系统带来一定的性能提升。

关键词：无限带宽网络嵌入式主机通道适配器用户态驱动大页内存可靠传输零拷贝

来源：

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

机器学习驱动的索引技术及优化

机器学习驱动的索引技术及优化

引用

作者：官嘉林桂林电子科技大学

学位级别：硕士

数据的快速生产和长期积累对数据的存取性能带来巨大挑战。索引是支持和加速数据存取的重要方式。传统索引的构建和使用需要占用大量的CPU、内存和Cache等资源,面向大规模的数据存取时存在较大的性能优化空间。最近研究提出了“学习索... 详细信息

数据的快速生产和长期积累对数据的存取性能带来巨大挑战。索引是支持和加速数据存取的重要方式。传统索引的构建和使用需要占用大量的CPU、内存和Cache等资源,面向大规模的数据存取时存在较大的性能优化空间。最近研究提出了“学习索引”结构,使用机器学习方法获取数据特征辅助构建索引,因其能够很好地拟合数据特征,具有比传统索引结构更好的时间、空间性能。但现有支持动态工作负载的学习索引,一方面在性能上受到缺页中断影响,另一方面缺乏相应的面向动态工作负载的基准测试框架。针对上述问题,本文开展系统研究,主要工作如下:（1）针对动态学习索引ALEX存在的缺页中断问题,进行系统的实验和理论分析,在此基础提出一种基于大页内存的优化策略。策略基于大页内存能够有效避免内存页面切换,从而降低缺页中断的原理,通过尽可能把ALEX内部结点分配到相同大页内存页面,降低内部结点查找的缺页中断;通过尽可能在相同大页内存页面完成数据节点的扩容和压缩,降低数据节点产生的缺页中断。此外,通过对内存资源的预分配和缓释放,有效避免频繁内存操作的开销。在多个公开数据集的实验表明,该策略具有良好效果,能够有效提升吞吐率。（2）针对学习索引基准测试框架SOSD仅支持静态工作负载,应用场景极大受限问题,构建了支持数据插入等动态工作负载的DBLI学习索引基准测试框架。框架通过分层、模块化设计实现在支持动态工作负载基准测试的同时提供良好的拓展能力。其中,数据处理层通过数据载入、解析和键生成接口,实现数据拓展能力;工作负载层通过模拟不同读写工作负载,实现应用场景拓展能力;索引适配层通过抽象不同索引结构的读写细节,向上提供统一接口,实现索引拓展能力。在多个真实数据集和公开索引结构上的实验表明,DBLI框架能够很好的支持动态工作负载的基准测试,同时具有良好的拓展性,能够适应不同的应用场景。

关键词：学习索引大页内存数据存取基准测试

来源：

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

欢迎您,

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

在线全文

在线全文

在线全文

在线全文

请选择保存的检索档案：

请选择收藏分类：

通借通还

欢迎您,

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

在线全文

在线全文

在线全文

在线全文

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：