检索结果-南通市图书馆

检索条件"主题词=证认计算"

共 2 条记录，以下是1-10 订阅

全选清除本页清除全部题录导出标记到"检索档案"

详细简洁

排序：

基于Spark免预加载原始文件的文星表时序数据重组研究

基于Spark免预加载原始文件的文星表时序数据重组研究

引用

作者：付立艳天津科技大学

学位级别：硕士

时序数据重组是时域天文学中进行时域分析最基础的数据处理过程。在时序天文学中,由于观测设备具有在时间轴上频繁采样的特点,导致时序数据的海量性,应用传统科学计算方法实现时序数据重组通常耗时较长,效率不高,且受限于存储空间的制... 详细信息

时序数据重组是时域天文学中进行时域分析最基础的数据处理过程。在时序天文学中,由于观测设备具有在时间轴上频繁采样的特点,导致时序数据的海量性,应用传统科学计算方法实现时序数据重组通常耗时较长,效率不高,且受限于存储空间的制约。同时,随着分布式计算的兴起,Spark等计算框架很适合天文大数据的应用,但由于分布式计算方法需要将原始数据转存到专用的文件系统中,导致空间、时间代价大。所以为了解决这一问题,结合前人的工作基础以及Spark计算框架的特性,本文针对大数据时代时域天文科学的需求,通过对数据索引、存储I/O优化、天体证认算法优化等方面的理论与技术研究,解决面向批量观测星表数据的时序重组问题,实现效率、存储空间和准确度的均衡优化。设计的重点从以下两个方面进行:一是原始星表文件访存优化的设计。在数据的访存优化方面,以原始数据文件指针代替全部数据到专用文件系统加载的方式,避免大模数据转存的空间压力,并通过对原始数据的索引建立和存储布局的优化,提高证认计算的空间本地性,减少数据的传输,并在大规模时序数据生成请求时保证集群资源的全局均衡利用,以全面实现执行效率与存储空间的综合优化。二是Spark证认计算优化。在设计证认计算算法方面,提出了 HEALPix数据过滤策略减少证认计算量范围;基于传输与计算重叠的边缘数据处理方法以及对Spark平台的shuffle优化可以减少时间消耗保证证认计算的准确性和效率,使批量大规模星表间的高效证认成为可能。此外,研究采用理论与实践相结合的方式。通过对AST3望远镜观测到的星表数据时序重组的研发,对本设计的各项研究成果执行集成验证且实验结果表明,本设计可以很好的实现大规模星表数据的时序重组,切实提高天文时序数据产品的生成效率,促进我国时域天文学研究的快速发展。

关键词：时序数据 Spark 访存优化证认计算 AST3

来源：

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于Spark的海量星表数据时序重构方法研究

基于Spark的海量星表数据时序重构方法研究

引用

作者：权文利天津科技大学

学位级别：硕士

近年来,随着观测技术的进步和观测设备采集能力的增强,天文星表数据正在以指数方式增长,标志着天文学已经步入大数据时代。其中,时域天文学的研究得到了国内外广泛的关注。针对大视场、高频率采样的时域天文观测,一个关键的步骤是对星... 详细信息

近年来,随着观测技术的进步和观测设备采集能力的增强,天文星表数据正在以指数方式增长,标志着天文学已经步入大数据时代。其中,时域天文学的研究得到了国内外广泛的关注。针对大视场、高频率采样的时域天文观测,一个关键的步骤是对星表进行匹配计算,以获取每个天体在不同观测时间下的数据,并将其按照时间先后顺序排序形成天体的时间序列数据,也就是所谓的时序重构。时序重构是拟合光变曲线并进行时域分析研究的基础。由于天文数据急剧增长,现有的数据处理方法很难同时满足星表数据时序重构计算的精度和效率要求。基于内存计算的通用分布式框架Spark有望提高这一处理过程的效率,但是,直接应用Spark往往存在问题。Hadoop、Spark这类Map Reduce分布式模型需要执行过程中分布式集群节点间的任务间较为独立,需要跨节点的数据传输量较少,否则频繁的通信会成为这一模型应用的效率瓶颈。但因为交叉证认中边界漏源问题的存在,边缘新增数据的传输无法避免,这将严重制约这一模型的并发度,降低并行模型实际应用中的加速比。为了解决天文研究过程中面临的精度和效率问题,本文提出了非阻塞异步执行流程,每个分布式进程完全针对独立天区的数据进行连续处理,可以有效利用天文星表数据和提高生成天文时序数据的效率,进而促进时域天文学的快速发展。主要研究工作如下:在边缘漏源方面,本文提出了基于参考星表的边缘数据冗余存储方法。整个计算过程通过参考星表边缘数据的冗余存放,极大地减少了代价昂贵的跨节点数据传输,且只需要冗余存储参考星表中分块的边界数据,可以有效降低分布式数据冗余存储量,并且该方法可以保证不发生漏源问题。针对分块边缘的新增星体导致的其他节点的新增证认任务延时批量追加,本文根据各进程间的进度不同确定追加方式,保证证认计算没有遗漏,从而在提高并发效率的同时保证算法的精度。针对时序重构算法的设计,本文结合Spark分布式计算的特点,采用计算和传输重叠的策略,通过缩短等待数据传输的时间来减少证认计算的延迟,有效提高证认计算的效率。另外,通过错误记录识别算法的设计有效过滤了星表中的错误记录,提高了时序数据的质量并优化了算法效率。此外,对两表间的不同Join策略以及免Join策略从理论和实验两个角度进行了对比研究;最后通过基于Spark分布式框架的高效时序重构系统的设计完成了以上研究的验证。实验表明,与以往研究结果相比,本文设计的时序重构算法效率提升明显,为时域天文学中的天文时序数据分析的开展打下了良好的基础。

关键词：时域天文学证认计算时序重构分布式计算 Spark

来源：

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

全选清除本页清除全部题录导出标记到“检索档案”

共1页 << < 1 > >>

回到顶部

执行限定条件

欢迎您,

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

在线全文

请选择保存的检索档案：

请选择收藏分类：

通借通还

欢迎您,

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

在线全文

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：