检索结果-南通市图书馆

检索条件"主题词=高并发日志"

共 1 条记录，以下是1-10 订阅

全选清除本页清除全部题录导出标记到"检索档案"

详细简洁

排序：

适配电商平台的分布式日志采集系统关键技术研究和系统实现

适配电商平台的分布式日志采集系统关键技术研究和系统实现

引用

作者：黄振豪华南理工大学

学位级别：硕士

随着近几年居民消费能力的增强以及移动互联网的飞速发展,人们的消费渠道逐渐变化,网购已经成为使用频率最高的互联网服务之一。集群监控数据是保障服务稳定性的重要依据,用户行为数据是大数据分析的重要信息来源,这些数据依赖于业务系... 详细信息

随着近几年居民消费能力的增强以及移动互联网的飞速发展,人们的消费渠道逐渐变化,网购已经成为使用频率最高的互联网服务之一。集群监控数据是保障服务稳定性的重要依据,用户行为数据是大数据分析的重要信息来源,这些数据依赖于业务系统集群的日志,因此研究并设计一个适配电商平台的分布式日志采集系统具有重要意义。本文以某电商平台的业务需求为背景,针对业务集群异构日志前端收集、缓冲与转发、聚合与清洗、落地存储等环节的关键技术以及相关问题进行深入研究,设计并实现了一个适配于电商平台的分布式日志采集系统。本系统围绕高可用、高吞吐量、可扩展进行设计,为日志数据传输的可靠性以及系统的稳定性提供了保障,具有以下显著特点:(1)针对业务集群节点的日志收集任务,本文对多线程并发收集日志技术展开研究,提出基于双缓冲机制的非阻塞日志收集方案,并基于该方案设计和实现轻量级日志采集组件,提供采集低延时、低系统开销的性能,解决了常见日志系统采集层与业务系统耦合程度高、维护难度大、日志数据缓冲加重业务系统负载的问题。(2)针对支持高并发日志写入的需求,本文对比了现有Reactor和Proactor并发模型,提出基于主/从Reactor模式的分级日志转发方案,并基于该方案设计和实现高性能网络通信模块以及数据转发服务端组件,提供支持高并发、高吞吐、日志传输高可靠的性能,降低了业务系统和日志系统的耦合性,解决了系统缓冲层支持高并发写入以及数据保持高可靠性转发的关键问题。(3)针对海量异构日志的采集分析需求,本文研究了现有开源日志系统Flume的系统框架,提出基于Flume NG复合双通道的日志系统与数据清洗平台方案,并基于该方案设计和实现复合双通道以及日志清洗组件,在保证系统高吞吐量以及充足缓冲能力的前提下,解决了上游数据写入速率与下游数据消费速率不一致的问题,同时实现了在数据聚合过程中对日志流进行清洗的功能,使得系统收集并落地存储的日志数据更加符合分析人员的需求,降低后期数据分析的时间成本。最后,本文对上述实现的分布式日志采集系统进行测试分析,主要验证和分析了系统各功能模块的可靠性以及系统整体高可用、可扩展、内部负载均衡的性能,表明本文系统能够实现高效的业务日志收集、缓冲与转发、聚合与清洗、落地存储以及提供稳定可靠、可扩展的服务。

关键词：日志采集高并发日志分布式高可用

来源：

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

全选清除本页清除全部题录导出标记到“检索档案”

共1页 << < 1 > >>

回到顶部

执行限定条件

欢迎您,

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

请选择保存的检索档案：

请选择收藏分类：

通借通还

欢迎您,

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：