NAOC Open IR
基于压缩-字对齐位图的天文海量数据实时索引
刘应波1; 王锋1; 季凯帆2; 邓辉2; 戴伟1; 梁波2
2016
Source Publication计算机工程与应用
ISSN1002-8331
Volume052Issue:001Pages:37
Abstract澄江一米新真空大型天文望远镜(NVST)当前每天最大能产生2 TB,约十多万条的观测数据。由于这些数据量巨大并具有非结构化特性,使用离线构建索引会带来巨大时间开销,传统的关系型数据库难以满足快速索引和检索需求。针对这些问题,结合数据采集流程,提出了使用基于压缩的字对齐位图索引算法来在线实时构建索引。这种方式不仅克服了离线构建索引方式时,文件访问、FITS头读取和解析FITS头等操作带来的大量额外时间消耗问题,而且有助于解决海量太阳观测数据的高效检索难题。通过实验证明了在线实时构建索引方式能够极大地降低时间开销,也表明了该方式在天文海量数据索引和检索应用中的有效性和可行性。
Language英语
Document Type期刊论文
Identifierhttp://ir.bao.ac.cn/handle/114a11/51433
Collection中国科学院国家天文台
Affiliation1.中国科学院国家天文台
2.昆明理工大学
First Author AffilicationNational Astronomical Observatories, Chinese Academy of Sciences
Recommended Citation
GB/T 7714
刘应波,王锋,季凯帆,等. 基于压缩-字对齐位图的天文海量数据实时索引[J]. 计算机工程与应用,2016,052(001):37.
APA 刘应波,王锋,季凯帆,邓辉,戴伟,&梁波.(2016).基于压缩-字对齐位图的天文海量数据实时索引.计算机工程与应用,052(001),37.
MLA 刘应波,et al."基于压缩-字对齐位图的天文海量数据实时索引".计算机工程与应用 052.001(2016):37.
Files in This Item:
There are no files associated with this item.
Related Services
Recommend this item
Bookmark
Usage statistics
Export to Endnote
Google Scholar
Similar articles in Google Scholar
[刘应波]'s Articles
[王锋]'s Articles
[季凯帆]'s Articles
Baidu academic
Similar articles in Baidu academic
[刘应波]'s Articles
[王锋]'s Articles
[季凯帆]'s Articles
Bing Scholar
Similar articles in Bing Scholar
[刘应波]'s Articles
[王锋]'s Articles
[季凯帆]'s Articles
Terms of Use
No data!
Social Bookmark/Share
All comments (0)
No comment.
 

Items in the repository are protected by copyright, with all rights reserved, unless otherwise indicated.