检索结果-南通市图书馆

作者：孟圆云南大学

学位级别：硕士

大规模并行处理和列式存储将SQL的查询速度从小时提升到了分钟,但是这远远满足不了交互式分析的实时性需求。Apache kylin是基于空间换时间思想的分布式联机分析处理。kylin能够为超大规模的数据集提供多维分析能力和亚秒级的标准SQL查... 详细信息

大规模并行处理和列式存储将SQL的查询速度从小时提升到了分钟,但是这远远满足不了交互式分析的实时性需求。Apache kylin是基于空间换时间思想的分布式联机分析处理。kylin能够为超大规模的数据集提供多维分析能力和亚秒级的标准SQL查询。但是kylin的维度增加会带来多维立方体维度爆炸的问题,同时给磁盘和网络传输带来巨大压力。为解决多维立方体构建维度爆炸的问题,本文进行了如下工作:1.首先提出了基于FPGA(Field-Programmable Gate Array)的Deflate硬件压缩模型。通过Area、Loop-Carried、循环展开等硬件优化手段,得到了2.33的压缩率和2.87GB/S的压缩速度。该模型的压缩速度相比软件实现的Deflate算法压缩性能有明显提升。2.然后提出了基于硬件压缩加速的异构分布式三层模型设计,并进行对比实验验证了异构集群在读、写、计算性能上均有显著提升。3.最后提出了在查询引擎层构建基于异构加速的分布式Cubing模型,并对其进行基于贪心的动态剪枝优化。基于上述工作,对异构加速的Cubing模型和仅动态剪枝加速的Cubing模型进行对比实验。实验结果表明,异构加速的Cubing模型在构建时间上获得了3.7倍的加速比,在平均查询时间上获得2倍的加速比。本文提出的基于异构加速的Cubing模型能够对多维立方体的构建和查询进行加速,以缓解kylin在维度爆炸时带来的IO压力。

关键词： Deflate FPGA 异构计算 kylin Cube

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于kylin实现大数据OLAP应用

电脑与信息技术 2023年第4期31卷 112-115页

作者：沈文杰福建农业职业技术学院福建福州350007

医疗数据经过多年的发展,存量数据越来越多,在此基础上做的统计分析越发困难。传统的关系型数据库ETL计算过程复杂,而MPP数据库的查询速度并不理想,为了应对未来大规模的数据增长,提出采用基于kylin实现大数据OLAP应用,实现医疗统计分... 详细信息

医疗数据经过多年的发展,存量数据越来越多,在此基础上做的统计分析越发困难。传统的关系型数据库ETL计算过程复杂,而MPP数据库的查询速度并不理想,为了应对未来大规模的数据增长,提出采用基于kylin实现大数据OLAP应用,实现医疗统计分析查询的快速响应。

关键词： kylin OLAP 大数据预计算

一种麒麟系统下基于Django的网络性能管理系统设计与实现

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

计算机应用与软件 2024年第3期41卷 130-133页

作者：李朝阳周维贵张小锋熊宗炬中国西昌卫星发射中心四川西昌615000

通过对网络性能管理系统在网络运维中的重要作用和国产麒麟操作系统在各关键领域得到广泛应用的事实进行分析阐述的基础上,该文基于Django框架设计集数据采集、存储、分析、显示及管理于一体的综合网络性能管理系统。结合Pysnmp、Django... 详细信息

通过对网络性能管理系统在网络运维中的重要作用和国产麒麟操作系统在各关键领域得到广泛应用的事实进行分析阐述的基础上,该文基于Django框架设计集数据采集、存储、分析、显示及管理于一体的综合网络性能管理系统。结合Pysnmp、Django、Highcharts等开源工具包,重点阐述设计中所包含的各关键模块的具体实现技术细节,并给出相应的应用实例效果图。实践表明,该设计实现方法稳妥可靠,具有进一步推广应用的价值。

关键词： Django 网络性能 SNMP kylin Python

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

kylin内核完整性防护技术研究

Kylin内核完整性防护技术研究

作者：陈斌斌国防科学技术大学

学位级别：硕士

操作系统安全是计算机安全的重要基础,内核是操作系统的核心,内核完整性防护对保护操作系统安全至关重要。内核级rootkit是破坏内核完整性的最大威胁,它主要通过可加载模块方式和文件补丁方式破坏内核完整性。为防止内核级rootkit破坏内... 详细信息

操作系统安全是计算机安全的重要基础,内核是操作系统的核心,内核完整性防护对保护操作系统安全至关重要。内核级rootkit是破坏内核完整性的最大威胁,它主要通过可加载模块方式和文件补丁方式破坏内核完整性。为防止内核级rootkit破坏内核,Vista开发了驱动程序签名认证、代码完整性验证、内核补丁防护等技术保护内核完整性,Linux采用内核密封技术保护内核完整性,BSD采取设置系统安全等级保护内核完整性。它们具有不同的优点,也存在不同程度的不足。目前,类UNIX系列操作系统还没有从根本上解决内核完整性防护问题。在对内核完整性防护研究现状深入分析的基础上,结合可信计算理论,本文提出一种基于可信计算基本思想的内核完整性防护模型。该模型定义系统的一个可信根,从开机引导到系统加载模块,信任从可信根开始逐级度量和传递,形成一条从可信根开始的可信链。不同阶段信任的内涵不同,分别对应不同的信任度量。内核完整性防护存在四种不同模式的信任度量:完整性验证、主观信任基础上的完整性验证、客体证据认证、客体行为监测。可信链的构建实现了内核完整性防护的一种根本解决方案。本文基于kylin系统实现了内核完整性防护模型。系统将BIOS和GRUB作为可信根,从可信根开始逐级进行信任度量。在启动阶段,以完整性验证作为信任度量模式;在运行阶段,以可加载模块签名认证作为认证模块证据的信任度量模式,以系统调用表完整性运行时检测作为监测模块行为的信任度量模式,用可信模块表示管理员主观信任的模块,以完整性验证作为可信模块的信任度量模式。信任度量使信任逐级传递到整个系统,最终形成一条贯穿开机启动到系统运行全过程的内核完整性防护可信链。测试结果表明,本文设计实现的kylin内核完整性防护系统实现了预期维护内核完整性的目的,并且具有避免性能更多损耗的特点。

关键词： kylin 内核完整性防护信任度量可信链可信启动可加载内核模块安全防护

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

kylin操作系统线程机制研究与实现

Kylin操作系统线程机制研究与实现

作者：张颖星国防科学技术大学

学位级别：硕士

线程机制为操作系统提供一种易用的并行处理模型，充分发挥在多处理机环境，特别是SMP环境下的多处理机的处理能力。实现一个高效率的线程机制，可以有效提高操作系统的整体性能，这对改善国产服务器操作系统的市场生存环境有着重大意... 详细信息

线程机制为操作系统提供一种易用的并行处理模型，充分发挥在多处理机环境，特别是SMP环境下的多处理机的处理能力。实现一个高效率的线程机制，可以有效提高操作系统的整体性能，这对改善国产服务器操作系统的市场生存环境有着重大意义。本文阐述了国产服务器操作系统kylin中基于多对多线程模型线程机制的设计思想和实现技术;并且，通过这样一个具体问题的解决，在理论上对现有的线程模型机制进行了比较和分析，对线程机制进一步的发展方向进行了讨论。本文首先介绍了多对一，一对一和多对多三种线程模型的特点及实现技术，并对kylin系统所采用的多对多模型进行了详细分析，表明其优势和存在的问题，为kylin系统线程机制的设计和实现做好了铺垫。然后，基于多对多线程模型的设计思想，本文详细阐述了kylin线程机制的总体结构，重点介绍了基于多对多线程模型的两级调度模型;并针对传统多对多模型存在的问题，提出了kylin系统线程机制的优化方法，主要包含三个部分：两级调度器通信，内核调度优化和用户级调度器优化。接下来，由于kylin操作系统需要对Linux应用程序二进制兼容，本文介绍了kylin系统线程机制提供的Kyth线程库对原有LinuxThreads线程库的兼容技术，主要包含三个方面：线程库版本兼容，系统调用兼容处理和信号兼容处理。最后，本文对kylin系统线程机制的性能和兼容性两个方面进行了测试，验证课题工作的有效性和可用性。

关键词：多线程线程模型线程库 kylin

基于Spark和kylin的搜索广告商业数据OLAP系统的设计与实现

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于Spark和Kylin的搜索广告商业数据OLAP系统的设计与实现

作者：于瀚程北京交通大学

学位级别：硕士

OLAP系统是一种海量数据查询需求场景中的解决方案,被广泛应用在销售、市场、统计等领域,为企业决策提供支持。如今,数据仓库和多维分析等技术已经逐渐成为行业主流的OLAP解决思路。在数据计算方面,Spark是相对成熟,应用广泛的大数据计... 详细信息

OLAP系统是一种海量数据查询需求场景中的解决方案,被广泛应用在销售、市场、统计等领域,为企业决策提供支持。如今,数据仓库和多维分析等技术已经逐渐成为行业主流的OLAP解决思路。在数据计算方面,Spark是相对成熟,应用广泛的大数据计算引擎,kylin是一种集成性的OLAP的解决方案,通过预计算生成数据立方体以提供超高速的查询服务。本文在对数据进行定义、分析和整理的基础上,进行清洗、转化和建模,构建数据仓库,设计数据立方体,同时对系统进行了需求分析、概要设计,并详细介绍了系统的实现。使用该系统,用户可以通过选择查询维度创建任务,也可以通过编写SQL语句创建任务,从不同角度观察访问量、点击通过率、收入等业务指标。系统还提供了用户权限配置的功能和任务队列管理的功能。本系统的特点在于多计算引擎下的任务的调度,以及兼具并发性、扩展性和高效率的架构设计。技术方面,系统使用Hive作为数据仓库,使用Spark和kylin作为计算引擎,并支持引擎的自动切换和扩展。使用Golang和Scala作为主要开发语言。总体架构方面,系统采用三端分离的架构方式,即前端负责用户交互和信息展示;后端负责权限管理和任务管理;数据端负责任务调度和集群资源交互,各个端之间通过API和消息队列进行通信。另外,系统使用Google Protocol Buffer编码任务消息以实现高效率和跨语言一致性,采用Actor模型开发任务调度功能来实现容错性和并发性。在实际的测试和使用中,对于常用的查询任务,系统可在秒速级别提供结果,并具有相当高的可用性。

关键词： OLAP Spark kylin 广告商业数据

基于kylin的数据实时查询分析平台的研究与优化

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于Kylin的数据实时查询分析平台的研究与优化

作者：李明昆北京邮电大学

学位级别：硕士

大数据时代下,“拥有数据就意味着拥有价值”的思想已经深入人心,而繁杂的数据挖掘技术中,无论是哪一种都离不开数据的查询分析这个基础,它是数据处理和挖掘首先需要面对的难题。目前,有大量关于分布式查询分析引擎的研究和开源工具,但... 详细信息

大数据时代下,“拥有数据就意味着拥有价值”的思想已经深入人心,而繁杂的数据挖掘技术中,无论是哪一种都离不开数据的查询分析这个基础,它是数据处理和挖掘首先需要面对的难题。目前,有大量关于分布式查询分析引擎的研究和开源工具,但是随着数据爆炸式增长,基于列式存储和MMP的查询分析引擎Impala很难实时甚至短时间内反馈结果,而基于预计算思想的查询分析引擎kylin则面临着维度爆炸的问题。应用方面,公司为了给各个业务线提供满足各种需求的公司平台级数据查询分析服务,常采用的方式是在同样的数据集上同时搭建Impala和kylin来满足不同的业务需求,但这种粗粒度的查询引擎合并方案对平台的使用者来说学习成本很高,很多时候业务人员很难判断采用哪种查询分析工具能提供更快更好的服务。针对以上学术和商业上的缺点,本文对基于kylin的数据实时查询平台进行了深入的学术研究与优化。本文主要研究内容和成果包括以下几点:第一、针对kylin快速立方体构建模型面临的维度爆炸和cuboid浪费问题,提出和研究了基于查询日志统计的立方体构建模型,按照查询日志反映的需求逐步物化数据立方体中的cuboid节点,并记录整个数据立方体的物化状态,从而优化kylin立方体构建的资源消耗,缩短数据立方体构建时长,缩小立方体空间占用。第二、针对数据立方体静态物化策略无法适应查询分布的变动和迁移、部分物化视图失效、查询性能降低的不足,提出物化视图自调整算法,以固定查询次数为周期,更新查询统计值,并根据设定的阈值自适应调整物化视图集合,使得查询效率保持稳定,减少物化视图抖动。第三、针对数据查询分析平台上多套数据查询引擎并存的缺陷,研究了一种查询引擎选择策略,实现SQL任务按照路由策略自动分发方法,动态选择相对更优的查询引擎,并以此为基础开发实现了基于kylin的数据实时查询平台。使得数据分析人员可以在不了解数据立方体的情况下利用到kylin预计算的数据,降低学习成本;同时可以在Cuboid missing的情况下,kylin效果不佳时,将查询任务重新导流到Impala,弥补本文提出的基于查询日志的数据立方体构建模型的缺点。基于上述研究内容和成果,本文在开源引擎kylin代码的基础上修改优化,实现了基于查询日志的立方体构建模型,并以此为基础,搭建了 kylin,Impala,Hive三种查询引擎并存的数据实时查询分析平台,该系统能够根据用户配置构建cuboid稀疏的数据立方体,并利用历史查询统计信息调整数据立方体,为用户提供相对更优的查询引擎选择策略和查询分析服务。

关键词： kylin 数据查询分析立方体构建模型物化策略查询日志

基于kylin的电网实时数据共享软件平台的设计与实现

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于Kylin的电网实时数据共享软件平台的设计与实现

作者：郑勇锋华北电力大学（北京）

学位级别：硕士

电网调度自动化系统作为电网运行基础数据的采集者,越来越多的应用系统需要其提供的实时数据。数据共享平台就是对电网实时数据进行统一管理和共享的软件平台。电网实时数据包括设备的基本情况、运行状况等电力系统的全面的实时的信息,... 详细信息

电网调度自动化系统作为电网运行基础数据的采集者,越来越多的应用系统需要其提供的实时数据。数据共享平台就是对电网实时数据进行统一管理和共享的软件平台。电网实时数据包括设备的基本情况、运行状况等电力系统的全面的实时的信息,它关系到整个电网的经济运行和发展,因此安全性至关重要。针对上述问题,论文基于863操作系统成果,利用kylin安全操作系统较高的安全特性,实现了电网实时数据共享软件平台,提出了解决电网企业生产网和管理网的数据共享以及与非实时系统共享调度实时数据的技术手段,并介绍了系统在电网信息管理系统中的具体应用。

关键词： kylin 数据共享平台实时数据

基于kylin操作系统的动态跟踪技术研究与实现

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于Kylin操作系统的动态跟踪技术研究与实现

作者：李永超国防科学技术大学

学位级别：硕士

动态跟踪系统是一种全面的动态探测工具,它为系统管理员、开发成员和服务人员提供了一个强大的基础结构来全面的检查和分析系统程序和用户程序的行为。通过动态跟踪系统可以探究系统的工作过程,透过多层软件找出影响系统性能的原因,抑... 详细信息

动态跟踪系统是一种全面的动态探测工具,它为系统管理员、开发成员和服务人员提供了一个强大的基础结构来全面的检查和分析系统程序和用户程序的行为。通过动态跟踪系统可以探究系统的工作过程,透过多层软件找出影响系统性能的原因,抑或是快速定位系统异常行为。目前,kylin系统尚缺少这样一种全面的动态探测工具,加之kylin系统的结构复杂,所以在kylin环境下实现全面的动态探测很困难。在深入地解剖动态跟踪技术及kylin内核结构的前提下,本文设计了kylin环境下动态跟踪系统KDtrace框架,提出了面向方面的动态探测点组织方式,改进了基于breakpoint的动态探测点实现技术,设计了KDtrace系统的动态探测语言,并对KDtrace系统安全实现进行了研究。与Linux中的动态跟踪系统SystemTap和Solaris中的动态跟踪系统DTrace相比,KDtrace的优点是:第一,具有全面而高效的动态探测功能;第二具有良好的扩展性,可以以模块的方式便捷地实现对系统更多方面的动态探测功能。 KDtrace设计为三层:KDtrace使用者层、KDtrace跟踪框架层、KDtrace提供者层。KDtrace跟踪框架层是KDtrace使用者层和Kdtrace提供者层互操作的中间媒介:KDtrace跟踪框架层一方面向KDtrace使用者层提供简单而有效的操作接口,满足KDtrace使用者层提出的探测和处理要求;另一方面对KDtrace提供者层提供的探测点进行探测和处理。其中KDtrace跟踪框架层是动态探测系统KDtrace设计和实现的重点和难点。

关键词：动态跟踪技术 kylin KDtrace