跳到主要內容

簡易檢索 / 詳目顯示

研究生: 黃郁哲
Yu-che Huang
論文名稱: 多層化之分散式天文資料索引儲存系統
Hierarchical Distributed Index and File System for Astronomical Observation Data
指導教授: 蔡孟峰
Meng-feng Tsai
口試委員:
學位類別: 碩士
Master
系所名稱: 資訊電機學院 - 資訊工程學系
Department of Computer Science & Information Engineering
論文出版年: 2014
畢業學年度: 102
語文別: 中文
論文頁數: 62
中文關鍵詞: 分散式系統環狀架構空間索引
外文關鍵詞: Distributed System, Ring Structure, Spatial Index
相關次數: 點閱:8下載:0
分享至:
查詢本校圖書館目錄 查詢臺灣博碩士論文知識加值系統 勘誤回報
  • 在天體觀測中,星體的資料是龐大且是隨時增加的,所以在保存資料上需要非常大量的儲存設備來支援。假如在資料的儲存上缺少一套有效率的管理方法,那麼當研究人員需要使用資料時,就必須親自確認所需的資料位於那些機器上,再逐一的到這些機器上把資料撈取出來,這種行為費時又不切實際。有鑑於此,本論文開發一套多層化的分散式天文資料管理系統。此系統首先使用多層次三角網格來建構出天空模型,來給予星球一個編號來當作資料索引。由於這些編號都是有順序性而且連續的,本論文將伺服器連結成環狀的架構,讓每一個伺服器都負責一段連續但不重複的資料索引值範圍,並使用這些範圍來確認所要保管的資料,另外每二個相鄰的伺服器其所管理的資料索引值範圍都是連續的。而採用環狀架構的原因為其擴充性、容錯性高以及高可用性。此種架構為系統帶來了良好的基礎。
    為了加速資料搜尋的效率,此系統必須運行多種不同的服務,因此會大幅的增加機器的負擔,為了要降低機器的負荷,我們將以下三個功能獨立到三層不同的環狀架構。它們分別負責1.將使用者輸入的搜尋條件轉換成系統搜尋命令2.建立資料索引來找出使用者所需的資料以及該資料的存放位置3.儲存星球的實體資料。將這些功能分開運行之後,除了可以降低單台機器的負擔,往後任一個層次運行的功能需要進行調整時,即可直接替換而不需要重新建構整個系統。


    The data of star observation is huge and increase continuously. Therefore it needs strong hardware to store these data. If these data lacks of a efficiently manage methodology, users will need to find and get data themselves, it’s not a good and efficient way. In order to solve this problem, this paper proposes a hierarchical design distributed file system to manage these astronomical observation data. First, this system uses Hierarchical Triangular Mesh to compute a key for every star, the values of these keys are sequential, so this paper links the servers in the system to form a ring structure, and let every server manages an unrepeated range of keys, range that every two adjacent servers manage are also continuous. Besides, The reason why adopting ring structure is due to its scalability, fault tolerance and availability, these advantages build the good foundation of the system.
    For increase the efficiency of query, the system needs execute multiple services. To reduce the load of servers, this paper builds three level of the ring structure and allocates these services to different layer. These layers are 1. Query Transaction, 2. Data index, 3. Storage. This design not only reduces the load, but also makes these services independent.

    摘要 v Abstract vi 致謝 vii 目錄 viii 圖目錄 x 表目錄 xii 緒論 1 1-1 研究動機 1 1-2 研究目的 1 1-3 論文章節介紹 2 二 文獻探討 4 2-1 分散式系統 4 2-1-1 點對點(Peer to Peer)架構 4 2-1-2 Chord 5 2-2 星體資料索引 7 2-2-1 多層次三角網格索引 7 2-2-2 HEALPix Grid 10 2-3 Chord相關研究 11 三 系統架構流程 14 四 研究方法與步驟 16 4-1 環狀分散式系統 16 4-1-1 系統架構 16 4-1-2 節點加入 17 4-1-3 節點離開 20 4-1-4 資料搜尋 21 4-1-5 新增資料 23 4-1-6 環狀架構自我穩定機制 24 4-1-7 資料負載平衡機制 26 4-2 多層次分散式資料儲存系統 29 4-2-1 使用者查詢命令轉換層 29 4-2-2 實體資料索引層 30 4-2-3 實體資料儲存層 31 4-2-4 建立跨層次通訊方式 32 4-3 利用多層次三角網格建立天空索引 34 4-3-1 建立多層次三角網格天空索引 35 4-3-2 尋找坐落於搜尋範圍內之三角網格 37 五 實驗與效能比較 39 5-1 Single Peer之Quad-Tree與MySQL比較 39 5-2 Multiple Peer之Quad-Tree與MySQL比較 41 5-3 不同Threshold下之HTM效能比較 47 5-4 不同使用情形下平衡機制之效果比較 49 六 結論 60 七參考文獻 61

    [1] Napster, http://www.napster.com
    [2] Patrick Kirk (2003). Gnutella File Sharing And Distribution Network, Retrieved June 28, 2007, The Gnutella Homepage: http://rfc-Gnutella.sourceforge.net/
    [3] Ratnasamy, S., Francis, P., Handley, M., Karp, R., and Shenker, S., “ A scalable content-addressable network”, In Proc. ACM SIGCOMM (San Diego, CA, August 2001), pp. 161–172.
    [4] I. Stoica, R. Morris et al., “Chord: A Scalable Peer-to-Peer Lookup Protocol for Internet Applications,” IEEE/ACM Trans. Net., vol. 11, no. 1, 2003, pp. 17–32.
    [5] Zhao Cao.,Kan Li.,Yushu Liu., “A Multi-Level Super Peer Based P2P Architecture”, Information Networking,2008. ICON 2008.
    [6] K. Aberer, P. Cudr´e-Mauroux, A. Datta, Z. Despotovic, M. Hauswirth, M. Punceva, and R. Schmidt. P-grid: A self-organizing structured p2p system. ACM SIGMOD Record, 32(3), 2003.
    [7] Fabrizio Marozzo., Domenico Talia., Paolo Trunfio., “P2P-MapReduce:Parallel data processing in dynamic Cloud environments”, Journal of Computer and System Science 78(2012) 1382-1402.
    [8] L. Gong, JXTA: A network programming environment, IEEE Internet Comput. 5 (3) (2001) 88–95.
    [9] Kunszt, P. Z., Szalay, A. S., Csabai, I., Thakar, A. R., “The Indexing of the SDSS Science Archive,” Proceeding of ADASS IX, 2000, 216, 141–144.
    [10] Kunszt, P. Z., Szalay, A. S., and Thakar, A. R., “The Hierarchical Triangular Mesh, in Mining the Sky, ” ed. A. J. Banday, S. Zaroubi, and M. Bartelmann (Berlin: Springer-Verlag), 2001, 631–637.
    [11] W. O’Mullane, A.J. Banday, K.M. Gorski, P. Kuntz, A.S. Szalay, “Splitting the Sky – HTM and HEALPix,” Mining the Sky, Banday et al ed, Springer, 2000, p 639–648
    [12] SkyServer – HTM, http://www.skyserver.org/HTM/
    [13] 鄭凱豪., “Distributed Large-Scale Astronomical Data Management System Based on HTM Index”., ”National Central University”
    [14] Alexander S. Szalay, Jim Gary, George Fekete. Peter Z. Kunszt, Peter Kukol, Ani Thakar, “Indexing the Sphere with the Hierarchical Triangular Mesh”, Technical Report MSR-TR-2005-123
    [15] Peter Z. Kunszt, Alexander S. Szalay, Aniruddha R. Thakar., “Hierarchical Triangular Meah”., Baltimore MD,21218, USA
    [16] Mark R. Calabretta., Boudewijn F. Roukema., “Mapping on HealPix grid”., MNRAS 2007 July 25

    QR CODE
    :::