检索结果-南通市图书馆

在线全文

学校读者我要写书评

暂无评论

用户态文件系统客户端实现及优化

用户态文件系统客户端实现及优化

作者：吴辉静华中科技大学

学位级别：硕士

大数据时代的来临,需要处理的数字信息呈指数增长,分布式文件系统为大量数据的存储和处理提供了有效的解决方案。分布式文件系统所按照提供的接口可以分为两类:第一类是支持或部分支持POSIX接口的文件系统,第二类是提供私有专用接口。... 详细信息

大数据时代的来临,需要处理的数字信息呈指数增长,分布式文件系统为大量数据的存储和处理提供了有效的解决方案。分布式文件系统所按照提供的接口可以分为两类:第一类是支持或部分支持POSIX接口的文件系统,第二类是提供私有专用接口。大多数支持或部分支持POSIX接口的分布式文件系统为了追求更好的性能,都选择在内核态实现客户端,但是内核态实现存在开发调试困难、周期长、移植困难等问题。基于FUSE(Filesystem in Userspace)框架实现了一个用户态文件系统客户端,和MDS(元数据存储服务器)、OSD(数据存储服务器)组成分布式文件系统。通过分析FUSE框架的实现特点和对用户态文件系统进行测试,发现用户态文件系统存在用户态与核态之间上下文切换次数多、数据拷贝次数多、网络通信效率低等问题。针对用户态文件系统的这些问题,在客户端采用元数据缓存和数据缓存聚合多次I/O的数据,尽量减少网络通信次数,提高网络利用率;异步I/O技术使客户端将数据I/O请求直接在本地完成,后台不断将脏数据刷到服务器;使用RDMA(Remote Direct Memory Access)减少网络通信中的数据拷贝次数,提高网络带宽;并行I/O提高客户端的并发度,减少I/O时延,从而提升系统的整体性能。结果表明,基于FUSE框架在用户态实现分布式文件系统客户端,开发调试简单、移植升级方便,通过上述优化措施可以将系统吞吐率提高2.5倍,达到核态分布式文件系统的80%以上。

关键词：分布式文件系统 FUSE 框架用户态

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

用户态并行协议栈关键技术的研究与实现

用户态并行协议栈关键技术的研究与实现

作者：章巍巍哈尔滨工程大学

学位级别：硕士

网络通信技术的快速发展促使网络带宽和流量不断增大，网络协议栈的处理能力容易成为系统总体性能的瓶颈。对于传统的内核网络协议栈，系统调用、内存拷贝和冗余的协议处理流程的开销可能成为制约协议栈处理能力的因素。把协议栈构建在... 详细信息

网络通信技术的快速发展促使网络带宽和流量不断增大，网络协议栈的处理能力容易成为系统总体性能的瓶颈。对于传统的内核网络协议栈，系统调用、内存拷贝和冗余的协议处理流程的开销可能成为制约协议栈处理能力的因素。把协议栈构建在用户空间是协议栈实现的另一种思路，可以很大程度上减少操作系统的额外开销和内存拷贝开销，且定制灵活。本文从以下两个方面研究了用户态协议栈构建的关键技术。首先，本文研究了用户态协议栈的消息通信机制。用户态协议栈受两种消息流驱动运行：网络数据包消息流和socket请求消息流，这形成了一个多生产者单消费者的模型，本文设计了特定的环形消息队列来支撑消息通信机制。但是在大流量数据环境下，多个生产者对于环形消息队列的加锁同步开销将会十分可观。针对这个问题，本文提出了改进的环形消息队列互斥算法，利用原子操作代替开销昂贵的互斥锁，在需要频繁对环形消息队列进行判空或判满操作的场合能取得较好的效果。在改进互斥算法的基础上，本文提出了一个消息通信机制的无锁化架构，通过轮询调度的思想来取代互斥锁的频繁使用，并通过实验验证了方案的可行性。接着，本文研究了用户态协议栈的并行处理技术。随着多核多处理器架构的普及，如果协议栈采用单线程串行处理流程，势必不能发挥处理器强大的计算能力。本文设计了用户态协议栈的并行处理架构，通过对数据包四元组哈希的方式把数据包分发到特定的协议栈线程中处理，从而实现了连接级别的协议栈并行。利用Linux内核提供的处理器“硬亲缘力”特性，设计了用户态协议栈的处理器负载均衡策略。最后通过实验证明了协议栈并行化处理后取得了较大的性能提升。

关键词：用户态网络协议栈消息通信机制并行处理

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于Linux的用户态文件系统的设计

计算机应用与软件 2007年第10期24卷 87-89页

作者：周强李善平浙江大学计算机学院浙江杭州310013

介绍了一种基于Linux的用户态文件系统的设计,它采用了内核模块与用户态服务程序相结合的设计思想。用户态文件系统可以增加文件系统实现的灵活性,易于二次开发。详细描述了用户态文件系统的设计,并给出应用实例和适用范围。

关键词：文件系统 Linux 内核 VFS 用户态

基于持久性内存的高性能用户态文件系统研究与实现

在线全文

学校读者我要写书评

暂无评论

基于持久性内存的高性能用户态文件系统研究与实现

作者：曾建强国防科技大学

学位级别：硕士

进入信息时代,计算机面对的数据量持续增长,并且伴随着人类对信息的逐渐依赖,大数据处理成为当前信息处理系统的重要需求。大数据处理对存储系统提出了更高的要求,主要集中在带宽、延迟和可靠性等方面。长期以来,由于内存的价格、容量... 详细信息

进入信息时代,计算机面对的数据量持续增长,并且伴随着人类对信息的逐渐依赖,大数据处理成为当前信息处理系统的重要需求。大数据处理对存储系统提出了更高的要求,主要集中在带宽、延迟和可靠性等方面。长期以来,由于内存的价格、容量、可持久性等因素限制,大容量的持久化数据往往需要存储到磁盘等介质中,从而形成了从cache、主存到磁盘、磁带的层次化存储系统。由于磁盘等持久性存储的性能受限,各种基于局部性原理的优化技术试图填补外存和内存之间的鸿沟。但以非易失内存为代表的新型存储器件的快速发展,使得持久性存储的性能得到极大提升,有望融合内存和外存的优点,提高存储系统的整体性能。另一方面,新型存储器件也给存储系统的设计带来了新的挑战。为了适配持久性内存并充分发挥其大容量、低延迟、持久性等特性,传统的系统软件需要作出相应调整。本文面向大数据处理和数据密集型应用,对基于持久性内存的存储系统进行研究,主要通过对操作系统中的内存管理系统和文件系统进行设计和优化,提高数据处理的效率。本文主要关注系统软件层次,涉及存储管理、文件系统、进程管理和系统可靠性等方面。本文的主要工作和创新如下:(1)提出了一种面向持久性内存的的文件索引机制传统文件系统中大量文件的组织一般是通过目录文件,并在此基础上进行优化。传统的索引方式及其优化,如B树和缓存哈希表等,要么面临批量访问和随机访问的折衷,要么因为只面向磁盘优化而无法应用到持久性内存场景中。更重要的是,基于目录文件的层次化组织方式,需要文件系统进行层次化解析,这带来了不可小觑的软件开销。本文针对传统索引方式的不足,面向持久性内存,提出通过页表组织和索引文件,并通过全路径名字解析,利用MMU硬件加速文件定位,从而降低文件访问延迟的机制。实验表明,使用该机制改进的文件系统,在延迟方面有66%到6.7倍左右的性能提升。(2)提出了一种面向持久性内存的存储管理方案由于持久性内存在性能和寿命等方面的缺陷,它将会长期与传统内存并存。在这种存储结构中,如何标识和管理持久性内存将是系统软件设计者的一个问题。本文利用Linux系统中内存管理系统管理持久性内存,首先为持久性内存分配固定的虚拟地址空间,该空间是从64位系统的地址空间中的用户空间保留的,这样一来用户访问文件只需要读取内核页表并修改权限,而无需逐页映射,从而提高了访问性能,并便于文件共享和后续的用户态直接访问的设计。为了实现该方案,需要配套地调整进程初始化和缺页异常处理等机制。除此之外,本文设计了新的memory zone用于管理持久性内存,对持久性内存进行单独分配和统计。(3)设计并实现了一种将传统文件系统移植到持久性内存的方案基于新的文件索引机制,本文设计了将传统文件系统移植到持久性内存的方案,即使用新型索引机制替代传统文件系统中的目录机制,同时改进内核虚拟文件系统中的解析过程和缓存过程。本文基于该方案实现了一个内核库——libptree。实验表明,传统文件系统可以通过该库进行方便的移植,例如ext2系统的移植成本仅为约200行内核代码。

关键词：持久性内存文件系统用户态页表名字解析

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于用户态的NVMe驱动设计

计算机应用与软件 2019年第1期36卷 28-33,146页

作者：白子秋胡怀湘中国电子科技集团第十五研究所北京100083

提出一种基于用户态的NVMe驱动设计方案,并且一个设备可以为多个存储进程提供存储功能。基于利用IOMMU功能的VFIO模块来实现用户态的寄存器操作以及DMA功能。给出驱动设计的整体方案以及实现的技术细节。与其他方案相比,该方案对硬件依... 详细信息

提出一种基于用户态的NVMe驱动设计方案,并且一个设备可以为多个存储进程提供存储功能。基于利用IOMMU功能的VFIO模块来实现用户态的寄存器操作以及DMA功能。给出驱动设计的整体方案以及实现的技术细节。与其他方案相比,该方案对硬件依赖较低且易于扩展。

关键词： NVMe 用户态驱动 VFIO IOMMU

一种基于非易失存储器的用户态文件系统的研究与实现

在线全文

学校读者我要写书评

暂无评论

一种基于非易失存储器的用户态文件系统的研究与实现

作者：文多华中科技大学

学位级别：硕士

文件系统作为重要的基础软件之一,在现今大数据时代,是支撑数据中心和云基础设施的关键技术。基于硬盘的文件系统技术上已经相当成熟,但随着访问性能接近内存的新型非易失存储设备的推出和商用,逐渐有替代硬盘成为新的底层存储的趋势。... 详细信息

文件系统作为重要的基础软件之一,在现今大数据时代,是支撑数据中心和云基础设施的关键技术。基于硬盘的文件系统技术上已经相当成熟,但随着访问性能接近内存的新型非易失存储设备的推出和商用,逐渐有替代硬盘成为新的底层存储的趋势。而传统的文件系统技术不能有效发挥出非易失存储器的性能和特性,如何解决两者结合存在的性能低下的复杂软件栈、文件系统原子语义和用户态文件系统元数据同步开销等问题成为新的研究热点,成为学术界和产业界新的挑战。为充分发挥非易失存储器的性能,消除用户态文件系统元数据同步开销,并提供可靠的文件系统原子语义,提出一个用户态访问的新型文件系统Unvm FS。Unvm FS设计一个非易失存储分配器管理元数据和数据,用户态各进程独立更新元数据,消除中心元数据模块与用户进程通信开销。持久化的元数据设计,还能节省掉电后系统重构恢复或文件系统正常重启的时间,重启即可用。针对非易失存储器字节寻址无法保证文件系统原子语义的问题,Unvm FS设计日志结构数据更新机制对文件进行原子更新,设计轻量级写前日志机制保证目录操作原子性,维护文件系统数据和元数据一致性。基于真实的非易失存储器(Intel Optane DC Persistent Memory),实现了Unvm FS系统原型,并使用权威文件系统测试工具filebench进行了系统测试。基本读写的Microbenchmark负载测试,Unvm FS比2020年新发表的libnvmmio写带宽提高约15%至35%,读写带宽比nova和ext4-dax提高约27%至182%。模拟真实访问的Macrobenchmark负载测试,Unvm FS比libnvmmio性能提高约16%至134%,比nova和ext4-dax提高约18%至214%。实验结果表明,Unvm FS的设计改进可行且有效。

关键词：文件系统非易失存储器内存映射用户态原子更新

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于用户态感知的个性化服务推荐模型研究

基于用户态感知的个性化服务推荐模型研究

作者：滕吉湘潭大学

学位级别：硕士

随着计算技术、网络通信技术、嵌入式技术的发展,计算模式正在向普适计算模式转变,人们期望能够随时、随地、透明地访问信息空间,享用普适计算环境(信息空间和物理空间融合后的环境)所提供的服务。但日益增加的信息量使得用户不断被庞... 详细信息

随着计算技术、网络通信技术、嵌入式技术的发展,计算模式正在向普适计算模式转变,人们期望能够随时、随地、透明地访问信息空间,享用普适计算环境(信息空间和物理空间融合后的环境)所提供的服务。但日益增加的信息量使得用户不断被庞大的信息海洋淹没;人们在寻求一种将用户感兴趣的信息主动推荐给用户的个性化服务模式。在求解用户偏好时,上下文信息起到非常重要的作用,与其密切相关的上下文感知计算也已经成为一个相对独立的研究领域。其中怎样感知推理出用户的活动行为即活动感知计算也慢慢成为该领域的一个研究热点。本文重点研究了普适计算中的上下文感知计算和个性化服务推荐。通过挖掘用户行为,提出了一种基于用户态活动感知的个性化服务推荐模型。主要内容和研究成果包括以下几点: 1.提出了一个基于用户态的活动感知计算子模型。在该模型中,描述当前用户活动行为的复合信息概念用“用户态”来表达。此模型主要分为软件感知模块,服务内容感知模块和用户态推理模块。其中,软件和服务内容感知模块通过用户端底层软传感器收集原始上下文信息。再使用用户端智能体中的集成器对上下文信息进行抽象格式化后与服务器端的智能体进行信息交互。最后通过服务器端智能体中的用户态推理模块分析出代表当前用户综合状态下的特定用户态。本文提出的用户态子模型具有结构清晰,推理快速,判断准确等特点,并在管理和实现上相对独立,具有很好的灵活性和扩展性。 2.提出了一个基于内容过滤和项目协同过滤的混合个性化服务推荐子模型。该模型从本体论的角度对服务本身进行描述,并对整个服务项目集合进行以概率模型为基础的服务子类层次结构划分。通过先前的用户训练和使用时的数据统计,来计算出要推荐的服务子类集合,然后再对每个推荐服务子类中特定的项目和用户进行项目协同过滤,从而得到某个用户的推荐项目集合结果。仿真实验结果表明,该子模型具有较高服务推荐的准确率和召回率。 3.基于上述两个子模型,设计并实现了一个基于用户态活动感知的个性化服务推荐模型。该模型通过实时感知当前用户的用户态,过滤掉和当前用户态不符的兴趣服务子类,再根据剩余的兴趣子类求出具体的推荐服务项目集合。目标系统的实际运行结果表明,该模型的推荐内容与当前用户态较为一致,且具有较高的推荐服务质量。

关键词：普适计算活动感知计算混合个性化服务推荐用户态

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

Linux下用户态和内核态内存共享的实现

电脑编程技巧与维护 2011年第4期 25-27页

作者：陈浩江苏食品职业技术学院计算机应用技术系淮安223003

共享内存是进程间通信中最简单的方式之一。共享内存允许两个或更多进程访问同一块内存,就如同malloc()函数向不同进程返回了指向同一个物理内存区域的指针。因为所有进程共享同一块内存,共享内存在各种进程间通信方式中具有最高的效率... 详细信息

共享内存是进程间通信中最简单的方式之一。共享内存允许两个或更多进程访问同一块内存,就如同malloc()函数向不同进程返回了指向同一个物理内存区域的指针。因为所有进程共享同一块内存,共享内存在各种进程间通信方式中具有最高的效率。主要介绍Linux下基于Netlink机制的用户态和内核态内存共享的实现。

关键词：内核态用户态 netlink 共享内存

在线全文

学校读者我要写书评

暂无评论

基于Fuse的用户态文件系统的设计

微计算机信息 2010年第6期26卷 159-160,168页

作者：吴一民刘伟安华南理工大学计算机科学与工程学院广州510006

现有的文件系统大都运行在内核态下,与内核紧密结合,导致难以对其进行功能上的扩展。针对内核文件系统的这个问题,本文提出了一个基于Fuse框架实现的用户级文件系统dbfuse。一方面将文件系统从内核态中解放出来;另一方面使用数据库技术... 详细信息

现有的文件系统大都运行在内核态下,与内核紧密结合,导致难以对其进行功能上的扩展。针对内核文件系统的这个问题,本文提出了一个基于Fuse框架实现的用户级文件系统dbfuse。一方面将文件系统从内核态中解放出来;另一方面使用数据库技术有效地保证文件系统数据的完整性和安全性,给数据共享带来的方便。

关键词：文件系统用户态数据库 Fuse