检索结果-南通市图书馆

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

面向海量数据库的数据流统计研究与实现

面向海量数据库的数据流统计研究与实现

作者：魏晗国防科学技术大学

学位级别：硕士

随着计算机技术的发展,海量数据库应用越来越普遍。数据流技术在数据库领域已经获得了广泛的研究,许多文章提出了优秀的算法和产品,数据流成为一种成熟的数据库模型。数据库加载数据具有连续、快速、随时间变化等一系列数据流特点,可以... 详细信息

随着计算机技术的发展,海量数据库应用越来越普遍。数据流技术在数据库领域已经获得了广泛的研究,许多文章提出了优秀的算法和产品,数据流成为一种成熟的数据库模型。数据库加载数据具有连续、快速、随时间变化等一系列数据流特点,可以利用数据流模型对其进行处理。本文从入库之前的数据处理出发,通过研究数据流统计技术,提出了一个数据流统计服务的体系结构,实现了对加载数据流的信息统计处理。本文的应用环境是一个海量统计应用数据库,针对这个特点,本文还实现了对加载数据流中异常数据的统计处理,不仅对数据流中的异常数据进行统计,还保证异常统计结果能够及时更新到统计库中,使数据库后续处理结果与数据库中的数据记录保持一致。同时,为了使添加统计服务之后的加载服务满足性能的需求,减轻后续查询服务的压力,还针对数据流中存在的大量重复数据,提出并实现了一个基于短文本数据库的高效去重方法。本文的末尾对统计服务进行了测试,验证了统计服务工作的正确性。利用数据流统计结果维护语义缓存作为数据流统计服务的具体应用实例是本文研究的重点。数据流统计应用于语义缓存维护,能够降低聚集查询语句的响应时间,实现了处理压力从查询服务器转移到加载服务器,能够提高系统的整体性能和稳定性。本文主要贡献: 1.提出了一个面向海量数据库加载的数据流统计服务的体系结构,该统计服务能在对加载过程影响极小的情况下高效率的完成统计;2.实现了对异常数据流的统计方法。通过采取多数据流的处理方法,在正常数据流滑动窗口之外还维护了一个异常数据流滑动窗口,动态分配基本窗口完成了异常数据的统计,并实现了将延迟数小时数据的统计结果合并更新到统计库中和查询结果中;3.研究了语义缓存维护,通过统计结果和语义缓存技术结合起来,提出了一种解决语义缓存维护性能的方法。通过将查询数据库服务器的压力转移到加载过程,提高了系统的整体性能和稳定性;4.研究了数据清洗技术,针对短文本重复数据产生的特点,提出了一个面向海量短文本数据库的高效去重方法。降低了数据规模,提升了数据库后续处理的性能。根据文中提到的技术,我们在大规模事务处理中间件StarTPMonitor上实现了一个面向海量加载的数据流统计服务。该服务通过统计将统计的摘要信息和语义缓存相结合,实现了语义缓存维护性能的提高,使系统整体查询性能得到大幅提升。

关键词：数据流海量数据库统计语义缓存维护异常数据去重

连杆称重去重的自动检测系统、误差分析及提高精度的途径

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

制造业自动化 1980年第2期 6-7页

作者：段正澄华中工学院

一九七九年十一月在昆明召开的中国机械工程学会机械工业自动化学会第一次学术讨论会暨成立大会上有四十八位同志在大、小会上宣读了论文,进行了交流,现将一部分报告的摘要登载如下。

关键词：称重重量测量质量测量去重自动检测系统连杆杆(机械元件) 提高精度

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

快速实现去重之后的统计效果

电脑知识与技术（经验技巧） 2017年第6期 42-43页

作者：王志军

同事前来求助,如图1所示,这里有一些重复的名字,现在需要实现去重之后的统计。由于实际的源数据比较多,手工统计显然是比较麻烦,有没有简单一些的方法呢？首先获得不重复的姓名,将其放到辅助列,例如F列,选择G1单元格,在编辑栏输入公式“... 详细信息

同事前来求助,如图1所示,这里有一些重复的名字,现在需要实现去重之后的统计。由于实际的源数据比较多,手工统计显然是比较麻烦,有没有简单一些的方法呢？首先获得不重复的姓名,将其放到辅助列,例如F列,选择G1单元格,在编辑栏输入公式“=SUMIF（A：A,F1,B：B）”,这里的SUMIF函数可以用来根据指定条件对若干单元格进行求和（按条件求和）,语法格式为“=SUMIF（range,criteria,sum_range）”,参数分别代表条件区域、求和条件。

关键词：统计快速实现去重 IF函数语法格式单元格源数据求和

在线全文

学校读者我要写书评

暂无评论

曲轴动平衡快速去重法

机车车辆工艺 2010年第3期 28-29页

作者：张玉玲陈明上海交通大学机械动力学院上海200030 南车戚墅堰机车有限公司江苏常州213011

通过对16V280A曲轴动平衡工艺的分析,及对动平衡测量原理的剖析,提出了一种快速去重法。通过实践,提高了曲轴的一次去重率,从而提高了生产效率。

关键词：曲轴动平衡去重

JavaScript数组去重功能的设计与实现

在线全文

学校读者我要写书评

暂无评论

电脑知识与技术 2017年第12期13卷 6-7页

作者：罗良夫张丽武汉光谷职业学院互联网+学院武汉430073 湖北交通职业技术学院公共课部武汉430079

随着互联网技术的发展,目前应用系统大部分采用B/S结构,其中前端页面的互动及数据处理一般采用Java Scritp技术,在数据处理的过程中会产生大量重复的数据,为了解决Javascript数组中重复数据的问题,该文提出并实现了四种解决方法。

关键词： Javascript 数组去重

基于标记模板的分布式网络爬虫系统的设计与实现

在线全文

学校读者我要写书评

暂无评论

基于标记模板的分布式网络爬虫系统的设计与实现

作者：杨林华中科技大学

学位级别：硕士

网络爬虫的诞生,满足了人们快速获取指定网络信息的需求。但是传统网络爬虫需要针对不同网站定制爬虫,而开发爬虫程序具有流程多、成本高、难度大、自动化程度低等弊端,同时开发和维护网络爬虫的效率与网站新增和更变速度的悬殊差距,又... 详细信息

网络爬虫的诞生,满足了人们快速获取指定网络信息的需求。但是传统网络爬虫需要针对不同网站定制爬虫,而开发爬虫程序具有流程多、成本高、难度大、自动化程度低等弊端,同时开发和维护网络爬虫的效率与网站新增和更变速度的悬殊差距,又增加了开发者的负担。针对这种矛盾,设计了基于标记模板的分布式网络爬虫系统。系统能够根据携带少量网页信息的爬虫模板自动生成爬虫实例,完成采集任务。系统的目标是在减轻爬虫开发难度和减少开发流程的基础上为网络舆情系统提供大量实时网络数据。系统以Scrapy框架为基础进行修改和扩展以实现分布式,主要工作包括以下几点:定义爬虫模板,系统能够根据模板描述的采集网站、采集元素、爬虫配置等要素,生成爬虫实例,执行采集任务。设计了一个基于标记的半自动化页面元素抽取算法,算法以页面的XPath以及标记信息作为特征,采用聚类策略计算生成抽取规则,实现自动抽取。实现了一个二级去重方案,将经压缩并设置有过期时间的URL缓存到内存作为一级缓存,并以键值对形式将URL持久化到磁盘形成二级去重,在保证不发生内存溢出的基础上实现增量采集的快速去重,增加了系统的稳定性。通过封装页面渲染引擎和封装浏览器内核两种方式支持开发者选择最佳技术采集动态页面。最后,针对采集数据的特点,采用自然语言处理等技术完成对采集数据的清洗任务。基于标记模板的分布式网络爬虫系统,能够实现大量网站的自动采集,减少了开发者开发流程,避免了为单一网站开发爬虫的耗时和难度,免去了页面抽取语法的学习成本,解决了单机爬虫效率低、伸缩性差等问题。从测试结果可知,系统能够实现对包括动态页面的大量网站的高效的增量采集,有效的降低了开发爬虫的难度和要求,在保证数据的准确性的同时提高了采集效率。

关键词：分布式网络爬虫模板去重页面渲染

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

面向高并发的短信调研系统设计与开发

面向高并发的短信调研系统设计与开发

作者：刘杉北京交通大学

学位级别：硕士

滴滴出行是一个规模巨大的网约车出行互联网公司,如何把握市场变化来扩大公司运营规模,获取用户第一意愿是非常重要的。原本各业务部门的问卷调研方式都是自行维护,用户都是独自分开的,同一时段不同部门下发不同调研任务,会存在对同一... 详细信息

滴滴出行是一个规模巨大的网约车出行互联网公司,如何把握市场变化来扩大公司运营规模,获取用户第一意愿是非常重要的。原本各业务部门的问卷调研方式都是自行维护,用户都是独自分开的,同一时段不同部门下发不同调研任务,会存在对同一用户下发多个调研信息的情况,造成用户反感。并且由于调研数据的不互通,无法有效的对调研整体情况进行分析优化。调研问卷系统应运而生,将所有的用户调研归于一处,为整个公司提供调研服务。被调研用户量的激增对系统的健壮性带来考验。所以针对这些问题本系统设计了调研管理、调研NPS(Net Promoter Score)问卷、数据去重、调研发送等主要模块来解决。调研管理模块通过调研组和调研任务的关联关系来保证同一调研组内,同一个调研问卷被调研用户的范围,是这个系统的基石。考虑用户对调研问卷内容和占用时长的忍耐性,确保可以实时得到用户的全部或者部分调研信息,使用调研NPS问卷可以保障获取用户阶段性答案。创建调研任务的时候会添加去重频率的选项,所以在调研短信下发前存在批量的用户去重操作。数据去重模块在对比了多种去重方法并参考其去重特点的情况下,选择了依据布隆过滤器原理的去重方法来保证在低误识别率情况下的快速去重和低内存占用。调研发送模块采用多进程多任务设计,提高业务处理性能。同一时段内会存在多种调研任务,分钟级别处理几十万事务数据。在结合缓存、数据库,通过任务管理和进程调度等方面来实现系统的稳健性。在用户去重过程中,本文主要对比了、HASH去重,基于BITMAP去重和基于布隆过滤器原理(Bloom-Filter)去重方法。通过依次对比,采用BITMAP思想来做数据存储减少内存空间的占有量,在通过Bloom-Filter支持对业务的大数据用户信息快速去重。本文将这通过两者相结合来做大数据用户信息去重。在系统设计和开发方面,进程管理模块通过使用任务管理模块构造的多种Redis数据,调度和协调所有进程进行任务处理,实现多进程多任务并行来达到多业务数据处理速度提升。并通过异常处理模块负责任务及进程相关异常的处理及自动修复,对于无法自动修复的问题,进行实时监控及报警。经过实际项目完成和运行,整个系统在千万级用户数据去重情况下运行稳定,调研短信下发业务涉及事务处理量可以达到20W/min的速度,符合预期效果。

关键词：去重布隆过滤器高并发系统架构

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

提高两工位钻削动平衡机转子校正精度的方法

测控技术 2008年第7期27卷 96-98页

作者：李莉蔡萍赵鼎鼎上海交通大学测试计量技术与仪器系上海200240

介绍了研制的两工位半自动动平衡机去重系统的组成、工作过程,重点对动平衡转子二次平面分离技术以及系统的误差进行了研究,提出了校正环节闭环系统的设计,通过相应的计算,为提高平衡机去重精度提出了实用的方法。

关键词：去重平面分离闭环系统校正误差

在线全文

学校读者我要写书评

暂无评论

一种容错的分布式加密存储方案及其应用研究

一种容错的分布式加密存储方案及其应用研究

作者：徐敏暨南大学

学位级别：硕士

随着计算机技术的发展与电子办公的普及,大部分企业已经从以往的纸质办公转为了现在的电子化办公,纸质文档因保存不便、查找困难也逐渐退出使用,除了少数重要文件外,日常办公以及档案归档都采用了电子文档。相比传统的纸质文档,电子文... 详细信息

随着计算机技术的发展与电子办公的普及,大部分企业已经从以往的纸质办公转为了现在的电子化办公,纸质文档因保存不便、查找困难也逐渐退出使用,除了少数重要文件外,日常办公以及档案归档都采用了电子文档。相比传统的纸质文档,电子文档有着易修改、易保存、易查找的特性,对于企业工作效率的提升是非常显著地。然而相对于纸质文档,电子文档面临的威胁更多:保存介质损毁、故意或过失删除与修改、黑客与病毒等。基于金融企业的安全需求,本文提出一个使用(t-N)共享机制、具有容错与数据去重功能的分布式加密存储系统,由此设计电子文档安全管理系统。本论文的主要工作如下::1、本文首先分析Shin等人的方案在容错和效率方面存在的不足,而这两方面在分布式加密存储中很重要,为此本文将对此进行改进;2、提出了一种同时具有容错和数据去重功能的分布式加密存储方案:存储在不同存储服务器中的加密信息可以保证信息的安全性,用户使用(t-N)秘密共享机制将文档和加密密钥分为N个子块,然后将它们分别上传至N个分布式存储服务器。用户只需要从t个分布式存储服务器下载t个加密的子块就可以恢复加密文件,即使是少量的分布式存储服务器故障系统也能正常运行。新方案拥有密钥服务器之间的重复数据删除功能以及不同用户上传的重复数据删除功能;3、部署多个数据存储管理服务器,便于不同区域的用户选择可用的数据存储平台管理服务器来处理相关的金融电子文档,减少了上传加密数据的通信成本。

关键词：分布式存储秘密共享容错去重