NAOC Open IR
基于SparkStreaming的明安图射电频谱日像仪实时数据处理
戴伟1; 刘鹏翔1; 王锋1; 卫守林1; 邓辉1; 梁波1
2017
Source Publication天文研究与技术 (Astronomical Research & Technology)
ISSN1672-7673
Volume14Issue:4Pages:421
Abstract目前天文观测中对数据的实时处理需求越来越多,性能要求也越来越高,我国明安图射电频谱日像仪(Mingant U Sp Ectral Radioheliograph,MUSER)是同时以高时间、高空间和高频率分辨率对太阳进行射电频谱成像的设备。在低频部分的日常观测中,包含了两方面的需求:(1)对历史数据的处理;(2)5秒钟抽样观测数据的处理。抽样观测数据需要实时处理,并在监控终端显示,数据处理过程包含了数据校验、修正、成图、洁化等多个步骤,传统的单机处理模式已无法满足大数据量下的实时性要求。因此,实时数据计算中,使用Spark Streaming流式计算这一新兴的分布式计算方法,设计了自定义的接收器,并将多个图形处理器节点加入到分布式集群中。通过实验对性能进行评估,结果证明基于内存的高速执行引擎的特点能显著提高性能。期待能通过实验进一步优化算法和配置,获得更好的结果,并最终运用到实际环境中。目前天文观测中对数据的实时处理需求越来越多,性能要求也越来越高,我国明安图射电频谱日像仪(Mingant U Sp Ectral Radioheliograph,MUSER)是同时以高时间、高空间和高频率分辨率对太阳进行射电频谱成像的设备。在低频部分的日常观测中,包含了两方面的需求:(1)对历史数据的处理;(2)5秒钟抽样观测数据的处理。抽样观测数据需要实时处理,并在监控终端显示,数据处理过程包含了数据校验、修正、成图、洁化等多个步骤,传统的单机处理模式已无法满足大数据量下的实时性要求。因此,实时数据计算中,使用Spark Streaming流式计算这一新兴的分布式计算方法,设计了自定义的接收器,并将多个图形处理器节点加入到分布式集群中。通过实验对性能进行评估,结果证明基于内存的高速执行引擎的特点能显著提高性能。期待能通过实验进一步优化算法和配置,获得更好的结果,并最终运用到实际环境中。
KeywordMuser 射电天文 Spark 流式计算 实时计算
Language英语
Document Type期刊论文
Identifierhttp://ir.bao.ac.cn/handle/114a11/62800
Collection中国科学院国家天文台
Affiliation1.昆明理工大学
2.中国科学院国家天文台
Recommended Citation
GB/T 7714
戴伟,刘鹏翔,王锋,等. 基于SparkStreaming的明安图射电频谱日像仪实时数据处理[J]. 天文研究与技术 (Astronomical Research & Technology),2017,14(4):421.
APA 戴伟,刘鹏翔,王锋,卫守林,邓辉,&梁波.(2017).基于SparkStreaming的明安图射电频谱日像仪实时数据处理.天文研究与技术 (Astronomical Research & Technology),14(4),421.
MLA 戴伟,et al."基于SparkStreaming的明安图射电频谱日像仪实时数据处理".天文研究与技术 (Astronomical Research & Technology) 14.4(2017):421.
Files in This Item:
There are no files associated with this item.
Related Services
Recommend this item
Bookmark
Usage statistics
Export to Endnote
Google Scholar
Similar articles in Google Scholar
[戴伟]'s Articles
[刘鹏翔]'s Articles
[王锋]'s Articles
Baidu academic
Similar articles in Baidu academic
[戴伟]'s Articles
[刘鹏翔]'s Articles
[王锋]'s Articles
Bing Scholar
Similar articles in Bing Scholar
[戴伟]'s Articles
[刘鹏翔]'s Articles
[王锋]'s Articles
Terms of Use
No data!
Social Bookmark/Share
All comments (0)
No comment.
 

Items in the repository are protected by copyright, with all rights reserved, unless otherwise indicated.