检索结果-南通市图书馆

面向国产处理器大数据一体机的基因压缩技术研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

南京邮电大学学报（自然科学版） 2020年第5期40卷 11-26页

作者：陈国良尧海昌陈帅吴梦雪方厚之法虎孟朝霞刘尚东王汝传季一木南京邮电大学计算机学院江苏南京210023 南京工业职业技术大学计算机与软件学院江苏南京210023 南京邮电大学高性能计算与大数据处理研究所江苏南京210023 国家高性能计算中心南京分中心江苏南京210023 江苏省高性能计算与智能处理工程研究中心江苏南京210023

大数据一体机作为大数据时代的基础设施,其自主安全可控显得尤为重要。基因数据因其巨大的社会价值、经济价值及军事价值,其安全是国家安全的一部分。因此,存储、分析与处理基因数据是国产处理器大数据一体机的重要应用之一。文中首先... 详细信息

大数据一体机作为大数据时代的基础设施,其自主安全可控显得尤为重要。基因数据因其巨大的社会价值、经济价值及军事价值,其安全是国家安全的一部分。因此,存储、分析与处理基因数据是国产处理器大数据一体机的重要应用之一。文中首先介绍了国产处理器大数据一体机和基因序列文件主要格式,然后分为无参考序列基因压缩算法和基于参考序列基因压缩算法综述了FASTA格式基因数据压缩技术及基因压缩并行化技术的发展历程和研究现状,同时在国产处理器大数据一体机上验证了近年来优秀基因压缩算法的性能。研究面向国产处理器大数据一体机的基因压缩技术对解决基因数据安全和基因压缩技术自主可控具有很重要的意义,也为我国基因处理技术的全面国产化提供了参考。

关键词：国产处理器大数据一体机基因压缩并行计算

基于国产大数据一体机的FASTQ基因数据压缩及并行化研究

在线全文

学校读者我要写书评

暂无评论

基于国产大数据一体机的FASTQ基因数据压缩及并行化研究

作者：方厚之南京邮电大学

学位级别：硕士

由于医疗防控、生物研发或疾病预测等领域的生物信息研究逐步完善与发展,对于基因测序数据的需求日益攀升。在此需求下,新一代测序技术的诞生与改进,测序成本不断下降,各种生物的基因数据体量成指数倍增加,基因数据的研究已经进入了大... 详细信息

由于医疗防控、生物研发或疾病预测等领域的生物信息研究逐步完善与发展,对于基因测序数据的需求日益攀升。在此需求下,新一代测序技术的诞生与改进,测序成本不断下降,各种生物的基因数据体量成指数倍增加,基因数据的研究已经进入了大数据范畴。对于基因信息的承载,一般使用FASTQ格式文件作为原始测序信息最直接的存储形式。对其设计有效的压缩算法,以实现基因数据更好地存储迁移。近年来有关FASTQ无损压缩算法的研究层出不穷,但在压缩速度、压缩比等方面仍存有不足。另一方面,近年来由于数据量的逐步累积,加之硬件结构的不断提升,大数据处理领域也迎来了兴起与发展,许多新技术被相继提出,大数据一体机是其中一种较为有效的技术方案。为了解决基因大数据问题,使用大数据一体机对生物信息数据进行存储与压缩处理是可行与理想的方案。为实现知识产权自主化,目前一体机的许多技术研究正逐步应用国产平台。而国产一体机性能普遍存在性能不足的问题,需要更好的软件适配与运行优化。针对上述问题,本文将通过几个方面的研究给出解决方案:(1)对于FASTQ格式算法性能普遍不足问题,本文将提出一种针对FASTQ文件格式的无损压缩算法FQ-TRC。该算法针对FASTQ的两个主要部分:质量分数与碱基序列,分别设计算法。对于质量分数部分,先使用划线分类方法将数据划分为分布不同的两类,再通过分数映射将连续的或是具备一定排列规律的分数值映射为较短的数值,最终使用比特缓冲的形式输出。对于碱基序列我们采用压缩比较高的参考压缩方式,通过输入外部参考序列构建索引,对输入的序列进行哈希索引的同时进行重新寻址,以达到较好的匹配效果。使用两次匹配的方式以达到多次去重效果。对于标识符序列,采取差量与游程编码对其进行缩减去重。(2)为了克服国产处理器的性能问题,本文还将使用大数据框架对压缩算法进行提速处理。在国产平台上研究并实现基于Spark的基因大数据算法,对于上述研究算法中的两部分,分别构建合适并高效的算子流程链,以实现算法的并行计算。通过组织对大数据框架参数的调优实验,测试并行计算对于计算速度的提升,并选择出最优的内存占用方案。最终建立适用于基因大数据压缩领域的应用。(3)在上述研究与实现的功能基础之上,在国产处理平台上使用docker适配并构建服务系统,将上述功能完整地融入国产大数据一体机平台。之后将基于国产平台组织算法的对比试验,针对一些热门的参考或非参考算法进行压缩率与速度的比较。经实验证明,本算法在压缩率与压缩时间上均可以超过这些算法。

关键词：大数据一体机 FASTQ文件基因匹配压缩分布式计算框架

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

国产芯片大数据一体机容器入侵检测安全研究

国产芯片大数据一体机容器入侵检测安全研究

作者：杨卫东南京邮电大学

学位级别：硕士

随着计算机技术的迅猛发展,计算机数据以两年翻一番的速度快速积累,为了海量数据的高效快速处理,许多新技术、新概念被相继提出,大数据一体机技术就是其中一种。与通用芯片相比国产芯片处理速度慢、生态差,导致国产芯片对大数据一体机... 详细信息

随着计算机技术的迅猛发展,计算机数据以两年翻一番的速度快速积累,为了海量数据的高效快速处理,许多新技术、新概念被相继提出,大数据一体机技术就是其中一种。与通用芯片相比国产芯片处理速度慢、生态差,导致国产芯片对大数据一体机的支持较差,为了实现核心技术的弯道超车和自主安全可控,基于国产芯片研制的大数据一体机成为了研究的热点。为了解决国产芯片软件生态差的问题,本文使用的国产芯片大数据一体机选择了具有平台无关性特点的Docker来部署应用。但由于Docker容器在镜像拉取阶段缺少对镜像的安全检测,用户可能下载和使用具有安全风险的Docker镜像,存在攻击者利用这些风险对容器发起攻击的风险;此外,Docker容器安全性依赖于Linux内核名称空间和控制组机制的特点,也使得它与基于硬件的虚拟化技术相比更易受到外来攻击的影响。为了保护一体机运行时不受外部入侵的影响以及提高一体机中数据的安全,本文提出了相应的解决方案,主要工作如下:(1)针对Docker容器面临的镜像安全问题,本文提出了Docker镜像漏洞检测与评估方法。该方法通过扫描用户下载的镜像,收集镜像中各镜像层操作系统与软件包信息作为元数据,并将元数据与通用漏洞库进行匹配获取镜像漏洞信息,然后将收集到的漏洞信息作为输入,通过漏洞评估系统得到漏洞风险评分,结合漏洞风险评分结果对镜像整体安全性进行评估,提醒或删除存在安全风险的镜像。(2)针对容器自身安全机制带来的入侵攻击问题,提出了基于主机系统调用的容器入侵检测方法。该方法利用不同攻击行为之间系统调用频率不同的特点,收集容器运行时产生的系统调用,结合滑动窗口和TF-IDF算法提取系统调用特征,并通过对比特征相似度进行分类。通过实验验证,该方法检测到容器中攻击操作的检测率可达97%,正常操作的误报率低于4%,可以有效保护运行中的容器。(3)结合Docker镜像漏洞检测与评估方法与基于主机系统调用的容器入侵检测方法,本文设计并实现了Docker安全检测系统。为了测试系统性能,本文在国产芯片(龙芯)大数据一体机上搭建了实验环境,经过实验验证,该系统可以有效发现存在风险的Docker镜像和正在遭受攻击的运行容器。

关键词：大数据一体机 Docker 系统调用入侵检测镜像漏洞检测

基于国产大数据一体机的VCF基因数据压缩及并行化研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于国产大数据一体机的VCF基因数据压缩及并行化研究

作者：陈帅南京邮电大学

学位级别：硕士

万物互联使得数据的增长呈指数上升趋势,大数据一体机是未来处理大数据的有效手段之一。目前,国内大数据一体机还存在着安全性不足、性能差和应用少等缺点。基因碱基测序的研究广泛应用于生物学、医学、遗传科学等诸多重要领域。例如,在... 详细信息

万物互联使得数据的增长呈指数上升趋势,大数据一体机是未来处理大数据的有效手段之一。目前,国内大数据一体机还存在着安全性不足、性能差和应用少等缺点。基因碱基测序的研究广泛应用于生物学、医学、遗传科学等诸多重要领域。例如,在COVID-19疫情期间,研究病毒基因序列为人类了解病毒做出了巨大贡献。在过去二十年中,随着基因测序技术的进步,基因组数据增加了几个数量级,存储和传输测序数据成为该领域的瓶颈。目前,主要使用gzip压缩存储VCF格式基因测序文件,压缩率和压缩速度较低。因此,本文基于国产大数据一体机提出了一种高效的基因组数据压缩算法,主要工作如下:(1)针对国产大数据一体机缺乏基因测序应用问题,提出了一种VCF格式基因测序文件压缩算法vcfzip。算法通过分块、信息提取、编码和异常处理实现了高压缩率的无损压缩。分块设计使得用户能够根据机器性能调节压缩性能,并为并行化提供了有利条件。信息提取指将VCF文件中不同类型的数据分类提取到内存中,在保证数据完整性的同时降低编码的难度和提高编码的速度。编码分为大数编码、碱基编码和GT编码,目的在于针对不同特点的数据降低存储密度。异常处理维持了信息提取阶段脏数据的完整性,保证了无损压缩。(2)针对国产大数据一体机性能差问题,本文在国产大数据一体机分布式集群中应用了基因压缩算法vcfzip,提出了并行化算法vcfzip＿hadoop。vcfzip＿hadoop修改有向图算法vcfzip使之具有并行的能力,并通过优化切片和分区提高了算法并行的性能。实验证明,分布式并行化极大地提高了算法的执行速度,并且能够随着集群节点数量的增多,动态地提升压缩速度。(3)为了方便用户在国产大数据一体机上使用上述两个算法,本文设计了一个基于国产大数据一体机的VCF基因压缩的Web系统。在系统中,用户不仅可以通过简易的接口批量快速地压缩基因组数据,而且可以实时监控系统的运行状态。

关键词：大数据一体机基因数据压缩 VCF 并行化 Hadoop

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

大数据一体机水冷散热装置

中国宽带 2020年第12期16卷 83-83页

作者：曹勇重庆城市职业学院

分析大数据一体机工作过程,比较传统水冷散热装置的缺陷,设计出该大数据一体机的水冷散热装置。详细介绍了该水冷散热装置的组成和水冷散热的工作原理。通过风冷组件和设置输液组件和循环组件有效的解决了现有大数据一体机发热量过大,... 详细信息

分析大数据一体机工作过程,比较传统水冷散热装置的缺陷,设计出该大数据一体机的水冷散热装置。详细介绍了该水冷散热装置的组成和水冷散热的工作原理。通过风冷组件和设置输液组件和循环组件有效的解决了现有大数据一体机发热量过大,导致温度急剧升高从而缩短设备使用寿命的问题。

关键词：大数据大数据一体机水冷散热

基于国产处理器的智能大数据一体机架构及应用研究

维普期刊数据库评论

在线全文

维普期刊数据库

学校读者我要写书评

暂无评论

南京邮电大学学报（自然科学版） 2024年第4期44卷 1-16页

作者：陈国良汤晓宇尤帅姚小良梅超君林时俊刘尚东吴少刚孙雅薇王汝传季一木南京邮电大学计算机学院江苏南京210023 南京邮电大学高性能计算与大数据处理研究所江苏南京210023 国家高性能计算中心南京分中心江苏南京210023 龙芯中科技术股份有限公司北京101111 北方信息控制研究院集团有限公司江苏南京211153

分析比较国内外智能芯片产品现状,概述智能芯片的相关软硬件技术栈,针对国内大数据与人工智能产业支撑体系尚不完善、尚未建立国产化信息处理安全保障体系的问题,提出基于国产芯片自主研发的智能大数据一体机研究与设计。解决基础设施... 详细信息

分析比较国内外智能芯片产品现状,概述智能芯片的相关软硬件技术栈,针对国内大数据与人工智能产业支撑体系尚不完善、尚未建立国产化信息处理安全保障体系的问题,提出基于国产芯片自主研发的智能大数据一体机研究与设计。解决基础设施的运维部署、海量数据存储以及时效性处理等问题,通过对比异构计算系统的分析研究,文中提出的基于国产CPU和NPU异构硬件加速的一体化计算平台具有信息安全、领域普适性强、运行效率高等特点。

关键词：国产芯片大数据一体机大数据处理智能计算信息安全

在线全文

学校读者我要写书评

暂无评论

大数据一体机关键技术及应用研究

南京邮电大学学报（自然科学版） 2018年第1期38卷 1-19页

作者：陈国良尧海昌李航叶青刘尚东季一木王汝传南京邮电大学计算机学院江苏南京210023 南京邮电大学江苏省无线传感网高技术研究重点实验室江苏南京210023 南京工业职业技术学院计算机与软件学院江苏南京210023

分析比较国内外大数据一体机产品现状,概述大数据一体机关键技术。针对国内大数据产业支撑体系尚不完善,尚未建立起兼顾安全与发展的信息安全保障体系问题,研究并提出基于国产芯片的大数据一体机,并详细介绍了相关硬件、软件和应用示范... 详细信息

分析比较国内外大数据一体机产品现状,概述大数据一体机关键技术。针对国内大数据产业支撑体系尚不完善,尚未建立起兼顾安全与发展的信息安全保障体系问题,研究并提出基于国产芯片的大数据一体机,并详细介绍了相关硬件、软件和应用示范,以解决大数据的海量存储、持续扩展、运维部署、数据个性化处理等问题。通过对比国内外大数据一体机的研究设计,文中提出的基于国产芯片的大数据一体机具有数据处理安全,并发处理效率高,运行稳定等特点。

关键词：国产芯片大数据一体机并行处理数据安全基因分析

在线全文

学校读者我要写书评

暂无评论

云海大数据一体机体系结构和关键技术

计算机研究与发展 2016年第2期53卷 374-389页

作者：张东亓开元吴楠辛国茂刘正伟颜秉珩郭锋高效能服务器和存储技术国家重点实验室济南250101 浪潮电子信息产业股份有限公司济南250101

为了弥补从大数据技术到行业应用之间的鸿沟,针对当前行业用户对大数据处理平台的持续扩展、一体化和多样性需求,提出了大数据一体机的可扩展性、可定制性和多类型处理模型,并基于此设计了云海大数据一体机.该一体机采用兼顾横向和纵向... 详细信息

为了弥补从大数据技术到行业应用之间的鸿沟,针对当前行业用户对大数据处理平台的持续扩展、一体化和多样性需求,提出了大数据一体机的可扩展性、可定制性和多类型处理模型,并基于此设计了云海大数据一体机.该一体机采用兼顾横向和纵向可扩展的体系结构,并采用硬件可定制化设计和混合型软件架构支持多种大数据应用类型.在此基础上,针对HDFS元数据服务瓶颈问题、MapReduce负载倾斜问题、HBase的跨域问题,介绍了在云海大数据一体机中采用的多元数据服务、负载均衡和跨数据中心大表技术.在电信、金融和环保行业实际案例中的应用和测试表明,上述体系结构和关键技术是可行和有效的.

关键词：大数据一体机可扩展性可定制性混合型软件架构大数据行业应用

在线全文

学校读者我要写书评

暂无评论

面向国产处理器的边缘计算安全及应用研究

面向国产处理器的边缘计算安全及应用研究

作者：邵思思南京邮电大学

学位级别：硕士

随着万物互联发展趋势的不断加深,数据的平均增长速度远远超过了现有网络带宽的平均增长速度,大数据的新时代已经正式到来。大数据一体机作为软硬件一体的集成系统产品引起了大众关注。但在实际应用中,当前基于国产处理器的大数据一体机... 详细信息

随着万物互联发展趋势的不断加深,数据的平均增长速度远远超过了现有网络带宽的平均增长速度,大数据的新时代已经正式到来。大数据一体机作为软硬件一体的集成系统产品引起了大众关注。但在实际应用中,当前基于国产处理器的大数据一体机(下面简称国产大数据一体机)在安全自主和性能方面还存在不足;另外,目前物联网所产生数据的45%都将在网络边缘计算处理。以云计算数据模型为技术核心的集中式处理模式无法高效处理终端边缘设备产生的大量数据,在这种情况下,边缘计算应运而生。但目前的边缘计算架构存在着计算资源分散、单机计算性能资源有限等问题,导致任务处理延时加剧。同时,从边缘用户角度出发,为了避免边缘用户敏感信息的泄漏,对用户造成严重的数据隐私威胁,边缘用户和边缘服务器之间的身份认证必不可少。因此,本文主要针对国产处理器的大数据一体机在边缘计算环境下的身份认证及负载均衡问题,具体进行了以下工作:(1)针对国产大数据一体机在边缘计算环境下的海量数据处理和存储问题,提出了一种基于边缘用户、国产大数据一体机、云数据中心的三层体系结构。通过在边缘用户和云之间引入边缘计算层进行扩展以便更好地提供低延时的用户服务。(2)针对边缘环境下国产大数据一体机的身份认证安全问题,提出了一种针对边缘计算环境下的身份认证方案:IBE-EC(Identity-Based-Encryption Edge Computing)。该认证机制为边缘用户和国产大数据一体机之间以及不同的国产大数据一体机之间提供了两种身份认证方案,满足了用户在边缘计算环境下的身份认证和数据隐私的保护,加强了用户的信息安全,增强了边缘计算的安全性。(3)为了有效地支持实时数据,需要以最佳方式调度各种任务,以满足各种SLA参数,如响应时间、服务可用性、延迟和成本,提升国产大数据一体机的性能。本文提出一种面向边缘计算的负载均衡算法,即LBA-EC(Load Balancing Algorithm Edge Computing)。该算法分为大数据一体机代理节点间的任务选择和调度以及容器间的任务选择和调度两个阶段。最终将所有任务或服务有效地映射到可用资源,充分利用网络边缘资源,从而降低用户时延,提高用户服务体验。(4)本文针对上述提出的面向边缘计算的身份认证方案和负载均衡算法实现了面向国产大数据一体机的安全调度系统EDS。选择基于国产处理器的大数据一体机作为边缘服务器搭建了实验环境,并在一体机上部署EDS安全调度系统。

关键词：边缘计算大数据一体机身份认证负载均衡