检索结果-南通市图书馆

在线全文

学校读者我要写书评

暂无评论

基于大数据的分布式社会治理智能系统

软件学报 2022年第3期33卷 931-949页

作者：吕卫锋郑志明童咏昕张瑞升魏淑越李卫华软件开发环境国家重点实验室(北京航空航天大学) 北京航空航天大学计算机学院北京航空航天大学人工智能研究院大数据科学与脑机智能高精尖创新中心(北京航空航天大学) 北京航空航天大学数学科学学院数学信息与行为教育部重点实验室(北京航空航天大学) 鹏城实验室

近年来,推动社会治理的协同化、智能化,完善共建共治共享的社会治理制度,是国家的重要发展方向.数据作为一种生产要素,在社会治理中起着愈发关键的作用.如何实现多方海量数据的安全查询、协同管理、智能分析,是提升社会治理效果的关键问... 详细信息

近年来,推动社会治理的协同化、智能化,完善共建共治共享的社会治理制度,是国家的重要发展方向.数据作为一种生产要素,在社会治理中起着愈发关键的作用.如何实现多方海量数据的安全查询、协同管理、智能分析,是提升社会治理效果的关键问题.在新冠疫情防控等重大公共事件中,分布式社会治理面临着安全计算效率低、多方可信协同差、复杂任务决策难的三大挑战.针对以上挑战,基于安全多方计算、区块链技术与精准智能理论,提出了一种基于大数据的分布式社会治理智能系统.所提出的系统能够支撑社会治理的各类应用,为新时代社会治理水平的提升提供决策支撑.

关键词：社会治理大数据系统区块链精准智能分布式系统

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

大数据系统中计算与存储分离混洗技术研究

大数据系统中计算与存储分离混洗技术研究

作者：胡振宇华中科技大学

学位级别：硕士

混洗（Shuffle）是连接映射（Map）端和聚合（Reduce）端的桥梁。混洗服务的可靠性和性能直接影响到应用程序的执行效率。现有的混洗机制,在内存中聚合数据时,容易产生数据溢出,造成写放大。Reduce任务在拉取数据时,会产生大量小的,随机... 详细信息

混洗（Shuffle）是连接映射（Map）端和聚合（Reduce）端的桥梁。混洗服务的可靠性和性能直接影响到应用程序的执行效率。现有的混洗机制,在内存中聚合数据时,容易产生数据溢出,造成写放大。Reduce任务在拉取数据时,会产生大量小的,随机的I/O请求,I/O队列等待时间和磁盘寻道时间占据了整个磁盘服务时间的很大一部分开销。D-Shuffle是为解决上述问题而设计的一种计算和存储分离的混洗服务。它将多个映射端计算完毕的数据发送到专门负责混洗的分布式混洗服务进程中,该混洗进程采用动态随机存储器（Dynamic Random Access Memory,DRAM）和非易失性内存（Non-volatile memory,NVM）混合的内存布局,将键放置于DRAM中,值放置于NVM中,对发送过来的来自多个映射端的数据进行合并,按需排序,最后写入分布式文件系统中。这个过程避免了映射端的数据溢出,并使得聚合端在拉取数据时,只需一次寻道便可拉取多个映射端的数据,同时分布式存储保证了混洗文件的可靠性。考虑到极端条件下混洗文件可能丢失的情况,D-Shuffle设计了可中断式的重计算机制,以减少重计算的开销。D-Shuffle在Spark上的基础上实现。实验结果表明,D-Shuffle的性能明显优于Spark现有的混洗进制。D-Shuffle可以避免映射阶段的写放大,平均减少38%重计算开销,端到端的作业性能提升为23%-33%。

关键词：大数据系统混洗计算与存储分离非易失性存储

大数据驱动下财经新闻的机遇、风险与创新方法

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

传媒 2023年第5期 66-68页

作者：吴婷张俊惠周抒江苏理工学院党委宣传部常州广播电视台江苏理工学院马克思主义学院

大数据(Big Data)是指无法在可承受时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,具有数据量庞大、数据类型繁多、商业价值高、处理速度快等基本特征。典型的大数据系统包括数据生成、数据获取、数据存储、数据分析四个环节... 详细信息

大数据(Big Data)是指无法在可承受时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,具有数据量庞大、数据类型繁多、商业价值高、处理速度快等基本特征。典型的大数据系统包括数据生成、数据获取、数据存储、数据分析四个环节,能够将庞大数据转化为有效信息,进而服务于行为决策,做出前瞻预判。随着大数据的不断拓展,人类进入了真正意义的数字社会。

关键词：数据集合软件工具大数据系统数据类型数据转化数据生成数据存储财经新闻

在线全文

学校读者我要写书评

暂无评论

大数据系统异常检测与资源预估算法研究

大数据系统异常检测与资源预估算法研究

作者：高宇哈尔滨工业大学

学位级别：硕士

随着技术的革新和数据生产方式的逐渐转变,大数据系统面临着诸多新的挑战,这意味着大数据系统运行状态会更加多变,运维工作也更加艰巨。高效地检测系统异常,是预防和治理的基石,合理地分配调度系统资源,是处理异常的首要和常用手段。在... 详细信息

随着技术的革新和数据生产方式的逐渐转变,大数据系统面临着诸多新的挑战,这意味着大数据系统运行状态会更加多变,运维工作也更加艰巨。高效地检测系统异常,是预防和治理的基石,合理地分配调度系统资源,是处理异常的首要和常用手段。在实际应用场景中,仅依靠人工维护系统的正常运行不仅成本极高而且效率低下,因此智能运维是大数据系统相关技术发展的必经之路。本文从大数据系统面临的数据流场景出发,围绕异常检测与资源预估技术展开了相关研究,并分别在当前研究的基础上设计了相应的算法。基于数据流的异常检测算法的研究重点是能够在较短时间、使用较小内存的情况下,发现数据中的离群值,从而及时向用户反馈大数据系统的潜在风险。资源预估技术要求在掌握系统一段时间的运行数据后,能够对系统接下来需要的资源阈值做出较为准确地估计,从而支持资源管理者从全局做出合理的系统资源分配,达到系统计算能力与数据吞吐率的最大化。本文首先设计了一种面向数据流的异常检测算法,在检测前将数据划分集合,不在仅仅逐点判断是否为异常点,而是通过集合的性质对部分数据集体判断,大大提升算法效率。除此以外,将数据相较于以往研究中对于异常单一的定义,本文在全局异常定义的基础上,创新性地提出了辅助异常标准的概念,全局异常由使用者根据实际场景设置异常参数,而辅助异常标准能够根据数据特点,在运行中自适应的调整异常标准,使得算法在不增加额外计算开销的同时,实现了计算加速。经实验发现,本文提出的算法相较同研究的其他算法,最好情况下将CPU占用时间降低了60%。本文的第二部分的主要研究内容为资源预估,资源预估是资源调度和分配中更细粒度的工作,准确的预估结果可以使资源分配变成一个可计算问题,支持资源管理者更好地决策。本文将大数据系统中的任务分为周期型任务和突发型任务,发现了当前对突发型任务资源预估的技术痛点。因此本文重点研究了如何对运行特点和数据分布不确定的突发型任务进行资源预估,并将极值理论应用于系统资源预估当中,最后提出了完整的资源预估框架。经过与传统的解决方法对比,本文提出的算法能够将资源利用率至少提升7.6个百分点。

关键词：大数据系统数据流异常检测资源预估极值理论

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

大数据系统数据安全保护研究

电子技术与软件工程 2023年第6期 17-20页

作者：高亚楠国家信息中心北京市100045

本文从大数据系统数据安全保护需求出发,介绍了大数据系统数据安全保护的背景和意义,然后分析了大数据系统数据安全保护的挑战和难点,并基于大数据系统数据安全风险分析,搭建了数据安全保护模型,从层面维度、生命周期阶段维度、安全措... 详细信息

本文从大数据系统数据安全保护需求出发,介绍了大数据系统数据安全保护的背景和意义,然后分析了大数据系统数据安全保护的挑战和难点,并基于大数据系统数据安全风险分析,搭建了数据安全保护模型,从层面维度、生命周期阶段维度、安全措施维度的三维探讨了大数据系统数据安全保护的模型和重点,并提出了一些改进措施,以提升大数据系统数据安全保护能力。

关键词：大数据系统安全保护模型建立

在线全文

学校读者我要写书评

暂无评论

大数据系统开发中的构件自动选型与参数配置

计算机科学与探索 2016年第9期10卷 1211-1220页

作者：钟雨邱明明黄向东清华大学软件学院北京100084

大数据应用系统包含数据的采集、存储、分析、挖掘、可视化等多个技术环节,各个环节都存在多种解决方案,涉及到的各类系统有数百种之多,且系统配置较为复杂,这给企业的大数据应用系统构建带来了极大的挑战。针对大数据应用系统开发中构... 详细信息

大数据应用系统包含数据的采集、存储、分析、挖掘、可视化等多个技术环节,各个环节都存在多种解决方案,涉及到的各类系统有数百种之多,且系统配置较为复杂,这给企业的大数据应用系统构建带来了极大的挑战。针对大数据应用系统开发中构件选型的难题,通过建立规范化的需求指标,并采用决策树模型实现了大数据构件的自动选型。从几个主流的分布式存储系统出发,以Cassandra为例,利用多元回归拟合的方法针对硬件参数建立相应的性能模型,将用户需求作为输入,利用性能模型进行系统硬件参数配置;通过研究系统原理、架构、特点及应用场景,构建软件参数配置知识库指导软件参数的配置,从而解决了大数据系统开发中的构件自动选型和参数配置问题。

关键词：大数据系统构件选型决策树模型参数配置性能模型

大数据系统在上海轨道交通车辆运维中的初步应用

在线全文

学校读者我要写书评

暂无评论

城市轨道交通研究 2019年第7期22卷 169-172页

作者：陈燕燕上海地铁维护保障有限公司车辆分公司

从建立大数据系统的要求入手,借助在线检测、数据传输、大数据分析及检修方式等手段,建立网络运营管控的大数据统一平台,实现运营、维护及维修综合化。该系统已初步应用于轨道交通车辆设备运维管理中,实现了实时监测列车状态和远程故障... 详细信息

从建立大数据系统的要求入手,借助在线检测、数据传输、大数据分析及检修方式等手段,建立网络运营管控的大数据统一平台,实现运营、维护及维修综合化。该系统已初步应用于轨道交通车辆设备运维管理中,实现了实时监测列车状态和远程故障的诊断与处理,为状态修提供实时数据支撑,提高了检修效率,从而降低了运维成本。

关键词：城市轨道交通车辆设备运维大数据系统

在线全文

学校读者我要写书评

暂无评论

产业智库大数据生态体系及系统构建研究

智库理论与实践 2022年第4期7卷 34-43页

作者：宋姗姗钟永恒刘佳中国科学院武汉文献情报中心武汉430071 中国科学院大学经济与管理学院图书情报与档案管理系北京100190 科技大数据湖北省重点实验室武汉430071

[目的/意义]大数据为产业智库发展带来了机遇,本研究结合生态学理论进一步深化和丰富了产业智库大数据建设的理论体系,为提升产业智库研究的创新性和前瞻性提供了新思路。[方法/过程]在明晰有关产业智库大数据生态体系概念的基础上,从... 详细信息

[目的/意义]大数据为产业智库发展带来了机遇,本研究结合生态学理论进一步深化和丰富了产业智库大数据建设的理论体系,为提升产业智库研究的创新性和前瞻性提供了新思路。[方法/过程]在明晰有关产业智库大数据生态体系概念的基础上,从数据主体、信息资源、专家智慧、工具方法以及知识服务5个方面,构建了产业智库大数据生态体系,结合数据全生命周期管理体系和系统服务功能,设计打造了产业智库大数据系统,最后根据全球化智库的具体案例分析,提出我国产业智库大数据建设的发展路径。[结果/结论]产业智库大数据生态体系建设是产业智库建设的关键环节,必须适应大数据和人工智能发展环境,融合多源数据资源和跨领域的专家智慧,创新与现代化发展要求相匹配的方法论和技术工具,开展数据全生命周期管理和数据挖掘分析,为我国产业发展提供基础性、共享性的决策咨询服务。

关键词：产业智库大数据生态体系大数据系统全球化智库

在线全文

学校读者我要写书评

暂无评论

大数据系统性能优化机制的研究与应用

大数据系统性能优化机制的研究与应用

作者：孔新北京邮电大学

学位级别：硕士

随着互联网、传感器等技术的迅速发展,数据产生的速度越来越快。伴随着数据的爆炸式增长,人们步入了大数据时代。在大数据时代,面对海量数据,人们需要通过各种手段和工具对数据进行快速的挖掘分析,以发现其中蕴藏的巨大价值。但是随着... 详细信息

随着互联网、传感器等技术的迅速发展,数据产生的速度越来越快。伴随着数据的爆炸式增长,人们步入了大数据时代。在大数据时代,面对海量数据,人们需要通过各种手段和工具对数据进行快速的挖掘分析,以发现其中蕴藏的巨大价值。但是随着大数据系统中需要存储和处理的数据量的不断增加,系统的某些性能问题日益突出,导致系统处理速度下降,不能及时的返回处理结果。严重时,甚至导致系统不能提供服务。为了提升系统性能,需要根据大数据系统的架构层次,从多个方面进行优化。大数据系统性能优化是一个非常复杂的工作,涵盖了系统的许多方面,因此,在系统的优化过程中需要考虑到影响系统性能的所有因素。本文在研究大数据系统架构以及相关技术的基础上,从系统开发应用的实际情况出发,针对大数据系统的从以下四个方面阐述系统性能的优化机制:数据收集优化,数据处理优化,数据库优化,WEB服务器优化。这四个方面涉及到了大数据系统架构中的多个层次的优化。论文针对某影视大数据系统存在的性能问题,详细的说明了其具体的优化过程和技术细节,为大数据系统优化提供一个可参考的方法,并使用测试工具对优化后的系统性能进行测试。

关键词：大数据系统数据收集优化数据库优化 WEB服务器优化数据处理优化