检索结果-南通市图书馆

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

muser观测数据积分方法研究

MUSER观测数据积分方法研究

作者：赖铖昆明理工大学

学位级别：硕士

随着天文观测技术与手段的迅猛发展,越来越多的地基与天基望远镜建成并且逐步投入使用。在如此多的观测设备投入使用的同时,观测产生的数据也呈现出爆炸式的增长,如何从海量观测数据中经过数据处理得到有用信息成为天文学家亟待解决的... 详细信息

随着天文观测技术与手段的迅猛发展,越来越多的地基与天基望远镜建成并且逐步投入使用。在如此多的观测设备投入使用的同时,观测产生的数据也呈现出爆炸式的增长,如何从海量观测数据中经过数据处理得到有用信息成为天文学家亟待解决的重大问题。本文以明安图超宽频射电日像仪(MingantU SpEctral Radioheliograph,muser)海量观测数据处理分析系统作为研究背景,从muser成像原理、UV覆盖技术、原始数据输出格式以及数据处理需求进行分析,在此基础上对muser数据处理中积分方法进行了系统研究:1)根据综合孔径成像原理分析了muser成像的过程,并对muser数据的获取和预处理进行了调研,对muser整个数据处理流程及其系统进行了细致的分析和研究。2)对muser观测数据积分方法进行了深入的研究,分析了muser目前成图过程中为何需要积分,积分的作用体现在何处。根据综合孔径成像原理及相关实验,提出了基于UV平均积分、基于UV覆盖积分、基于UV平均和UV覆盖叠加的混合积分这三种积分模式。并且对积分模型进行实现得到了较好的成像结果。3)在积分方法实现的基础上,论文还对三种积分方法进行了性能测试。针对不同的速度需求可以选择不同的积分模式,性能分析对muser数据处理有着的重要意义。整体来看,本文研究并且设计实现了muser观测数据积分的三种模式,为muser数据积分处理打下了坚实的基础。在积分处理后对三种积分模式的性能进行了分析,得出在短时间积分和长时间积分应该如何选取积分方案来提高成图质量。三种积分模式已经应用在muser系统中取得了较好的效果。

关键词： muser UV覆盖积分复可见度数据

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

muser观测数据标记方法研究

MUSER观测数据标记方法研究

作者：陈蒙昆明理工大学

学位级别：硕士

射电天文是天文学中重要的观测手段,太阳射电天文是射电天文研究中的一个热点,世界各国广泛开展了太阳射电的研究工作,所采用的观测研究波段从约1毫米到30米。由于电磁干扰以及仪器设备误差等因素的影响,会导致射电望远镜数字接收机所... 详细信息

射电天文是天文学中重要的观测手段,太阳射电天文是射电天文研究中的一个热点,世界各国广泛开展了太阳射电的研究工作,所采用的观测研究波段从约1毫米到30米。由于电磁干扰以及仪器设备误差等因素的影响,会导致射电望远镜数字接收机所输出的数据经常存在失真等问题,导致最终采集获得的观测数据是异常的,这些失真或异常数据对最终成图有显著的影响。自动识别这些失真或异常数据,也就是进行数据标记(Flagging)是当前射电观测数据处理的重要工作,对最后的科学数据产出具有重要的意义。本文围绕由国家天文台建设的明安图超宽频太阳射电日像仪数据处理工作,重点研究了muser观测数据的数据标记问题。主要工作包括三个方面：一、通过对宁静太阳以及太阳爆发情况下所获得的可见度数据以及各天线互相关数据的分析,对正常观测数据范围的估计与检验,初步研究了异常失真数据评估的参考依据。二、借鉴FLAGCAL的标记方法,首先对实验观测数据进行MAD预标记,再进行VSR标记,最后对数据进行A标记,针对实验数据研究了适合muser观测数据自动标记方法的评价因子,通过实验对比分析所得的评价因子组合,对muser观测数据自动标记模型进行了初步研究。三、对muser观测数据自动标记模型的可用性进行初步考察。通过实验方法,对比工作二所获得的异常数据的准确度,针对实验数据讨论了该数据自动标记模型的可用性。整体来看,本论文研究结果对muser观测数据的标记取得了一定效果,有较好的实用性和参考价值。

关键词：数据标记 muser 观测评价因子

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

muser异构数据采集及融合技术研究

MUSER异构数据采集及融合技术研究

作者：高姣姣昆明理工大学

学位级别：硕士

本文以我国明安图超宽频谱日像仪(Mingantu Ultrawide Spectral Radio Heliograph,muser)的数据处理为研究背景,对muser数据处理所必需的各类数据的实时采集与融合处理进行了研究,主要完成的工作包括以下三个方面：一、实现了异构数据... 详细信息

本文以我国明安图超宽频谱日像仪(Mingantu Ultrawide Spectral Radio Heliograph,muser)的数据处理为研究背景,对muser数据处理所必需的各类数据的实时采集与融合处理进行了研究,主要完成的工作包括以下三个方面：一、实现了异构数据的实时采集问题;muser的数据处理,必须需要依赖于一系列重要的实时参数,包括天线位置数据、光纤数据、天线状态与接收机状态数据、气象数据等。本文分析讨论了不同设备的参数读取方法,给出了这些数据的采集方法和采集的思路与想法;二、设计并实现了异构观测数据的融合系统原型;由于采样频率不同,数据格式不同,给muser这些参数的融合带来了困难。本文基于ZeroMQ技术,对异构数据的融合进行了研究,为后续的muser数据处理系统的设计实现提供基础研究;三、在上述研究的基础上,分析、设计并实现了一个异构数据融合的实例,通过提取融合数据,生成在射电天文数据存储中最为常用的UVFITS文件。对文件的实践表明,提取的数据是正确的,UVFITS文件可以被其它科学软件所处理。从整体来看,本文利用计算机信息领域的异构数据融合技术,解决了实时异构数据的采集与融合关键问题,保证了muser数据处理系统的建设。同时,本文的研究工作是射电天文望远镜建设的共性工作,对其它望远镜的建设也有一定的参考价值。

关键词： muser 异构采集 ZeroMQ 融合 UVFITS

Vantage Pro气象站实时数据采集与在muser中的应用研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

天文研究与技术 2016年第1期13卷 117-123页

作者：卫守林石聪明高姣姣王锋邓辉季凯帆中国科学院云南天文台云南昆明650011 昆明理工大学云南省计算机技术应用重点实验室云南昆明650500

我国明安图射电频谱日像仪(Mingantu Ultrawide Sp Ectral Radio Heliograph,muser)已经完成所有的硬件设备安装与调试,即将进入常规观测。为有效地保证观测数据的可用性,项目组购置了Vantage Pro自动气象站,用以实时监控观测地的气象... 详细信息

我国明安图射电频谱日像仪(Mingantu Ultrawide Sp Ectral Radio Heliograph,muser)已经完成所有的硬件设备安装与调试,即将进入常规观测。为有效地保证观测数据的可用性,项目组购置了Vantage Pro自动气象站,用以实时监控观测地的气象条件变化。首先介绍了muser项目的基本情况,论述了在项目中气象条件的应用场景及在数据处理时对数据有效性可能造成的影响;详细介绍了Vantage Pro气象站的数据采集格式、数据交换格式以及串行通信协议;介绍了在气象数据的存储方式;最后给出了构建气象数据服务、数据归档和高效查询的方法。可以应用在望远镜自动气象监控和数据处理方面,也可以为选址的自动气象监测提供参考。

关键词： VantagePro muser 气象数据采集数据合并键值数据库

基于NoSQL技术的muser数据归档与发布系统的设计与实现

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

基于NoSQL技术的MUSER数据归档与发布系统的设计与实现

作者：林茂强昆明理工大学

学位级别：硕士

随着高空间、高时间、高频率分辨率的观测设备不断投入使用,天文观测产生的数据飞速增长。传统的科学数据归档和处理方法远远不能满足海量天文数据的需求。为了提高现代天文观测的科学产出效率,必须探索新的数据归档与发布方法。本文以... 详细信息

随着高空间、高时间、高频率分辨率的观测设备不断投入使用,天文观测产生的数据飞速增长。传统的科学数据归档和处理方法远远不能满足海量天文数据的需求。为了提高现代天文观测的科学产出效率,必须探索新的数据归档与发布方法。本文以明安图超宽频谱射电日像仪(Mingantu Ultrawide SpEctral Radioheliograph, muser)项目为研究背景,随着muser项目进入观测阶段,如何快速有效地归档其多波段多通道观测产生的海量数据成为急需解决的问题。同时,为便于观测数据的共享,在归档的基础上应采取有效的方式对观测信息进行发布。本研究的工作主要包括四个方面：(1)通过基于NoSQL技术的FastBit技术和传统的关系型数据库MySQL技术在建立索引、查询、插入数据及归档空间大小上的对比实验,得出FastBit更适合muser的实际索引和检索需求。(2)利用模拟数据设计并实现了muser项目的数据归档系统原型,包括FITS、UV-FITS格式和PNG格式的数据归档。FITS文件在归档的同时建立索引,便于后期的数据检索。PNG格式的数据归档应用于项目的发布,基于muser按天观测的特性,归档的层级目录按天定时创建。(3)利用模拟数据实现了将muser原始数据处理生成的太阳图像与其相关观测信息的融合,生成的图像用于muser的发布系统原型,进行效果显示。(4)设计并实现了muser项目的数据发布系统原型,其中的发布包括每隔10min的图像发布和每日中天时间图像的动态发布。同时,发布系统实现了指定的时间间隔的动态效果展示。本文研究和实验的数据归档和发布系统原型,能应用在muser的实际归档与发布系统中,对其提供技术支撑。

关键词： muser 数据归档位图索引发布

umuser高速相关数据实时处理流水线设计与实现

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

uMUSER高速相关数据实时处理流水线设计与实现

作者：黎颖电子科技大学

学位级别：硕士

太阳射电观测对太阳活动研究及空间天气监测有着重要意义,muser（Mingantu Spectral Radioheliograph）,即明安图射电频谱日像仪是基于综合孔径成像原理构建的太阳射电观测设备,在太阳射电研究领域发挥着重要作用。相关器是muser系统的... 详细信息

太阳射电观测对太阳活动研究及空间天气监测有着重要意义,muser（Mingantu Spectral Radioheliograph）,即明安图射电频谱日像仪是基于综合孔径成像原理构建的太阳射电观测设备,在太阳射电研究领域发挥着重要作用。相关器是muser系统的重要组成部分,是muser高速相关数据输出的源头。其性能的提升会带来相应的数据量的提升,在升级完成后其数据输出速率可以达到约3GB/s。如此高的数据速率给数据的实时处理和存储都带来了不小的挑战,因而需要构建相应的高速相关数据实时处理流水线来实现对数据的简单处理和数据缩减。GPU强大的运算和并行处理的能力及多线程技术的发展,为umuser（Upgrade muser）高速相关数据实时处理流水线的设计与实现提供了理论及实现基础。在此基础上,本文基于C/C++在Linux操作系统上开发了一个高速数据处理流水线设计框架umuser pipeline。该框架对pipeline结构进行了抽象,对数据类型进行了弱化和封装,并将Frame作为框架中数据处理的最小单元,可以有效的对同种及异构数据进行处理。在umuser pipeline框架的基础上本文实现了RFI检测与带宽综合高速实时处理流水线,用于对umuser 8通道相关器高速相关数据的实时RFI（Radio Frequency Interference）的检测及带宽的综合,有效做到了高速实时处理及相关数据的缩减。同时,还基于umuser pipeline框架设计实现了离线muser数据解析流水线,有效提升了muser离线数据的解析处理效率。本课题以具体应用为主,侧重于umuser pipeline的工程实现,umuser pipeline结合了多线程技术及GPU并行运算的优点,实现了对高速相关数据的实时处理,并提供了相应的数据接口,让开发人员可以有效的对数据进行处理。同时,umuser pipeline框架具有良好的扩展性,开发人员可以借助框架有效实现对应的高速数据实时处理流水线。

关键词： muser RFI 高速实时处理 umuser pipeline 多线程

基于Spark Streaming的明安图射电频谱日像仪实时数据处理

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

天文研究与技术 2017年第4期14卷 421-428页

作者：卫守林刘鹏翔王锋邓辉梁波戴伟昆明理工大学云南省计算机技术应用重点实验室云南昆明650500 中国科学院云南天文台云南昆明650011

目前天文观测中对数据的实时处理需求越来越多,性能要求也越来越高,我国明安图射电频谱日像仪(Mingant U Sp Ectral Radioheliograph,muser)是同时以高时间、高空间和高频率分辨率对太阳进行射电频谱成像的设备。在低频部分的日常观测中... 详细信息

目前天文观测中对数据的实时处理需求越来越多,性能要求也越来越高,我国明安图射电频谱日像仪(Mingant U Sp Ectral Radioheliograph,muser)是同时以高时间、高空间和高频率分辨率对太阳进行射电频谱成像的设备。在低频部分的日常观测中,包含了两方面的需求:(1)对历史数据的处理;(2)5秒钟抽样观测数据的处理。抽样观测数据需要实时处理,并在监控终端显示,数据处理过程包含了数据校验、修正、成图、洁化等多个步骤,传统的单机处理模式已无法满足大数据量下的实时性要求。因此,实时数据计算中,使用Spark Streaming流式计算这一新兴的分布式计算方法,设计了自定义的接收器,并将多个图形处理器节点加入到分布式集群中。通过实验对性能进行评估,结果证明基于内存的高速执行引擎的特点能显著提高性能。期待能通过实验进一步优化算法和配置,获得更好的结果,并最终运用到实际环境中。

关键词： muser 射电天文 Spark 流式计算实时计算

基于GPU的CLEAN算法的实现与优化研究

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

基于GPU的CLEAN算法的实现与优化研究

作者：陈腾达昆明理工大学

学位级别：硕士

射电天文目前已成为天文学中一个重要的研究领域。世界上最大的射电干涉阵平方公里阵(SKA),及“中国天眼”500米口径球面射电望远镜(FAST)等的建设,使各国科学家愈发意识到海量天文数据处理对天文及计算机领域带来了新的机遇与挑战。中... 详细信息

射电天文目前已成为天文学中一个重要的研究领域。世界上最大的射电干涉阵平方公里阵(SKA),及“中国天眼”500米口径球面射电望远镜(FAST)等的建设,使各国科学家愈发意识到海量天文数据处理对天文及计算机领域带来了新的机遇与挑战。中国近年来在射电天文领域的研究与装备发展有目共睹。中国厘米-分米频谱射电日像仪(muser,MingantU SpEctral Radioheliograph)的建成,推动了中国射电天文研究和技术的进步。针对muser中对可见度数据快速成像,及去卷积的实时性需求,利用GPU实现去卷积算法,最大可能的还原真实的观测图像。文中使用CLEAN算法对观测得到的图像进行去卷积操作,消除UV覆盖不完全带来的影响,得到最大程度还原的太阳观测图像,并提交给天文学家,以期从中研究得到太阳的活动规律,减少太阳活动对人类的影响。文中工作如下:第一、针对干涉阵快速成像,因UV覆盖不完全引入伪影,讨论了使用CLEAN算法来提高干涉阵成像图像质量。为提高muser中CLEAN算法的运行效率,文中讨论了 CUDA并行架构与GPU多处理器的优势,及基于GPU实现muser中去卷积算法的方法。第二、通过分析 Hogbom CLEAN、Multi-scale CLEAN 和 Clark CLEAN 算法执行流程,对算法中可并行部分,设计了运行在设备(GPU及其内存)上的CUDA kernel函数。使用Python和PyCUDA扩展包实现洁化处理函数。基于GPU与CUDA实现了 Hogbom CLEAN、Multi-scale CLEAN 与 Clark CLEAN 算法,提高了 muser去卷积算法的效率。同时还讨论了基于GPU的Multi-scale CLEAN算法中尺度、卷积核的选择等。第三、分析对比了 muser中CLEAN算法间的效率。通过对比分析,总结了 muser中CLEAN算法各自适用的环境。本文对干涉阵成像做了相关的研究,针对muser对所成图像质量的要求,对传统的退卷积算法进行优化研究,对射电天文课题的研究有一定的参考价值。

关键词：洁化算法 muser GPU CUDA

基于Mesos的分布式计算资源调度研究与应用

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于Mesos的分布式计算资源调度研究与应用

作者：范程斌昆明理工大学

学位级别：硕士

现代天文望远镜产生的数据量非常大,而且增长迅速。因此如何快速、高效的处理这些骤增的数据成为天文学研究中的一项主要问题。为了解决此问题,我国天文科学家提出了明安图射电频谱日像仪(MingantuU Spectral Radioheliograph,muser)。... 详细信息

现代天文望远镜产生的数据量非常大,而且增长迅速。因此如何快速、高效的处理这些骤增的数据成为天文学研究中的一项主要问题。为了解决此问题,我国天文科学家提出了明安图射电频谱日像仪(MingantuU Spectral Radioheliograph,muser)。本文根据muser科学数据处理系统的需求,结合新兴分布式集群资源管理系统Mesos来解决muser中天文数据处理的难题。主要完成工作如下三点:一、从muser的分布式计算需求出发,对muser在分布式集群中的数据处理进行需求分析,然后设计了一种分布式框架OpenCluster,用于在海量天文数据处理中的计算。二、在分布式框架OpenCluster设计的基础之上,对muser分布式集群中的资源调度需求进行分析,然后基于Mesos的关键技术实现其在muser分布式集群中的应用,从而完成OpenCluster中Mesos集群调度模式的开发。三、针对Mesos中的DRF算法在muser分布式集群中的缺陷,从而提出一种基于DRF算法改进的M-H-DRF算法。最后对此算法的性能进行对比测试,证明了优化后的算法在muser分布式集群中有良好的效果。整体来看,本文结合muser海量天文数据处理的需求,开发了一个轻量级的分布式框架OpenCluster,并将其与Mesos结合完成Mesos集群调度模式的设计,最后对Mesos中的资源调度算法DRF进行改进,使其更适合muser分布式集群。总之,Mesos在射电天文数据处理系统中的研究应用将为我国天文科学研究提供良好的保障。

关键词： muser 分布式计算科学数据处理 Mesos 资源调度