| 研究生: |
林克韋 Ko-Wei Lin |
|---|---|
| 論文名稱: |
DW資料不一致之研究 |
| 指導教授: |
范懿文
Yi-Wen Fan |
| 口試委員: | |
| 學位類別: |
碩士 Master |
| 系所名稱: |
管理學院 - 資訊管理學系 Department of Information Management |
| 畢業學年度: | 90 |
| 語文別: | 中文 |
| 論文頁數: | 142 |
| 中文關鍵詞: | 資料不一致 、資料整合 、資料淨化 、ETL 、資料倉儲 |
| 相關次數: | 點閱:5 下載:0 |
| 分享至: |
| 查詢本校圖書館目錄 查詢臺灣博碩士論文知識加值系統 勘誤回報 |
在企業組織中,資訊系統是強化作業效能、滿足顧客需求及提升競爭力的核心機制,而其中資料倉儲與資料超市更是為商業智慧能力與決策支援重要的一環,以資料倉儲作為組織資料分析的基礎及管理組織知識的關鍵平台,即成為企業組織中最重要的資訊資產。
資料倉儲(Data Warehouse;DW)是一種將資料聚集成資訊來源的場所,也可視為是一個完整的資料庫,或是一個儲存體可以儲存大量的資料。主要的資料內容可以是來自多方的資料源且提供使用者可以了解和使用的整體資訊;可以透過展示介面或線上分析處理(Online Analytical Processing;OLAP)的工具,提供給管理者作決策參考時使用。而這些資料往往以多維度的(Multi-Dimensional)資料方格(Data Cubes)模式來組織和呈現,藉以提供多樣化的檢視觀點。
但傳統的資料倉儲建置時所浮現的問題,諸如資料的重複性高、維持一致性困難與效能不佳等問題。由於有釵h資料的來源,所以會有釵h不同的資料型態與形式,因此資料倉儲必須將這一些不同的資料做一個整合並加以儲存。此外,資料倉儲中的資料更新或有一定的週期,在更新的週期間,由於資料的到達時間不同,新的資料在加入資料倉儲中就會引起一些資料的不一致性。所以,目前存在著一個資料自資料來源處傳送到資料倉儲中的資料載入問題,隨著資料源的更動同樣也會影響到使用者做資料查詢的正確性。
資料庫整合的技術是一個複雜且困難的工作,其原因在對於相同的資料,在資料庫系中可以有多種不同的表示法,故各個資料模組之間的關係經常都是模糊不清的;本研究的目的就是針對資料倉儲的資料不一致,提出一個系統化分析架構,透過這樣的架構,找出改進的解決方案,並實際設計一輔助工具程式,讓使用者能夠更容易的建立與維護一個資料倉儲。透過將各個模糊不清的關係逐一的去釐清、分析各個資料庫之間的各種關係、探討各個資料庫之間的語意是否有衝突性,來防止資料的不一致性,並減輕資料倉儲系統的工作負載,提高整體的執行效能,進而提昇資料倉儲之品質保證與提高決策分析結果的可靠性及可信度。一旦解決各式資料的不一致與衝突問題,使資料品質予以提昇,便能降低決策失敗與分析錯誤的風險。
因此,資料倉儲的建構,除了可以輔助管理者扮演決策支援系統角色之外,還可以因應快速變動的使用者資訊需求,立即以不同的維度和需求來擷取所需的資料,加上資料倉儲本身就是透過整合多個交易處理系統的來源資料,整合異質性資料與維持一致性顯得特別重要,因此也使得資料倉儲具有整體性及一致性的成分存在,更能快速的滿足使用者作為資料分析的需求,進而迅速且正確的做出決策。
None
1. 林存德,「資料倉儲觀念簡介(1)」,RUN!PC,277-288頁,1999年1月號。
2. 林存德,「資料倉儲觀念簡介(2)」,RUN!PC,247-256頁,1999年2月號。
3. 英孚美,「如何建置成左爾禤傱x」,資訊與電腦,62-64頁,2000年7月號。
4. 資通電腦,「資料倉儲系統簡介(上)」,資訊與電腦,124-129頁,1996年9月號。
5. 資通電腦,「資料倉儲系統簡介(下)」,資訊與電腦,117-119頁,1996年10月號。
6. 蘇提,「資料倉儲的應用與技術」,資訊與電腦,2月,78-91頁,1998年。
7. 蕭凱文、薛志達、李政輝,「Microsoft SQL Server 7.0資料倉儲整合應用」, 華彩軟體股份有限公司,295-302頁、306-311頁,1999年。
8. 蕭凱文、薛志達、李政輝,「架構企業決策資源系統– Microsoft SQL Server 7.0 OLAP Services 設計與實務應用」,華彩軟體股份有限公司,1999年。
9. Barquin, R. and H. Edelstein (1997), “Building, Using, and Managing the Data Warehouse,” Prentice-Hall, Inc.
10. Barquin, R. and H. Edelstein (1997), “Planning and Designing the Data Warehouse,” Prentice-Hall, Inc.
11. Corey, M.J., M. Abbey, I. Abramson, and B. Taub (1998), “Oracle8 Data Warehousing,” McGraw-Hill, Inc.
12. Devlin, B.A., and P. T. Murphy (1998), “An Architecture for a Business and Information System,” IBM Systems Journal, Vol. 27, No 1.
13. Dodge, G. and T. Gorman (2000), “Essential Oracle8i Data Warehousing,” John Wiley & Sons, Inc.
14. Golfarelli, M. and S. Rizzi (1999), “Designing the Data Warehouse: Key Steps Andcrucial Issues,” Journal of Computer Science and Information Management, Vol. 2, No. 3, pp. 1-14.
15. Han, J. and M. Kamber (2001), “Data Mining Concepts and Techniques,” Academic Press.
16. Hoven, J.V.D. (1998), “Data Warehousing: Bringing It All Together,” Information System Management, Spring, pp. 92-95.
17. Inmon, W.H. (1996), “Building the Data Warehouse,” John Wiley & Sons, Inc.
18. Inmon, W.H., C. Imhoff, and G. Battas (1996), “Building the Operational Data Store,” John Wiley & Sons, Inc.
19. Inmon, W.H., J.A. Zachman, and J.G. Geiger (1997), “Data Stores, Data Warehousing, and the Zachman Framework,” McGraw-Hill, Inc.
20. Inmon, W.H., J.D. Welch, and K.L. Glassey (1997), “Managing the Data Warehouse,” John Wiley & Sons, Inc.
21. Jarke, M., M.A. Jeusfeld, C. Quix, and P. Vassiliadis (1999), “Architecture and Quality in Data Warehouses: An Extended Repository Approach,” Information Systems, Vol.24, No.3 pp. 229-253.
22. Kelly, S. (1996), “Data Warehouse: the Route to Mass Customization,” John Wiley & Sons, Inc.
23. Kimball, R. (1996), “The Data Warehouse Toolkit” , John Wiley & Sons, Inc.
24. Kimball, R., L. Reeves, M. Ross, and W. Thornthwaite (1998), “The Data Warehouse Lifecycle Toolkit,” John Wiley & Sons, Inc.
25. Kohler, J., M. Lange, R. Hofestadt, and S. Schulze-Kremer (2000), “Logical and Semantic Database Integration,” IEEE.
26. Lim, E.P. and Roger H.L. Chiang (2000), “The Integration of Relationship Instances From Heterogeneous Databases,” Decision Support Systems, Vol.29, pp. 153-167.
27. Liu, J., and M. Vincent (1998), “An Architecture for Data Warehouse Systems,” IEEE.
28. Lu, H., W. Fan, C.H. Goh, S.E. Madnick, and D.W. Cheung (1998), "A data mining approach to resolving conflicts in legacy information systems, submitted for publication," <http://www-personal.umich.edu/~wfan/paper/vldb.pdf>, (Accessed April 2,2002).
29. Lu, H., W. Fan, C.H. Goh, S.E. Madnick, and D.W. Cheung (2001), "Discovering and Reconciling Value Conflicts for Data Integration," Information Systems, Vol.26, No.8, pp. 635-656.
30. Madhavaram, M., Dia L. Ali, and M. Zhou (1996), “Integrating Heterogeneous Distributed Database System,” 19th International Conference on Computers and Industrial Engineering, Vol.31, No.1/2, pp. 315-318.
31. Mah, P.S., and S.M. Chung (1998), “Schema Integration and Transaction Management for Multidatabases,” Information Sciences, Vol.111, pp. 153-188.
32. Murtaza, A. (1998), “A Framework for Developing Enterprise Data Warehouse,” Information System Management, Fall, pp. 21-26.
33. Palopoli, L., L. Pontieri, G. Terracina, and D. Ursino (2000), “Intensional and Extensional Integration and Abstraction of Heterogeneous Databases,” Data and Knowledge Engineering, Vol.35, pp. 201-237.
34. Ram, S. (1995), “Intelligent Database Design Using the Unifying Semantic Model,” Information and Management, Vol.29, pp. 191-206.
35. Robert G., and M. L. Gibson (1999), “Identification of Factors Affecting the Implementation of Data Warehousing,” 32nd Hawaii International Conference on System Sciences.
36. Rudra, A., and E. Yeo (1999), “Key Issues in Achieving Data Quality and Consistency in Data Warehousing among Large Organisations in Australia,” 32nd Hawaii International Conference on System Sciences.
37. Shanks, G. and P. Darke (1999), “Understanding Corporate Data Models,” Information and Management, Vol.35, pp. 19-30.
38. Shilakes, C., J. Tylman (1998), Enterprise Information Portals. Available at http://www.sagemaker.com/company/downloads/eip/indepth.pdf
39. Spaccapietra, S. (2000), “Feeding Data Warehouses,” IEEE.
40. Srivastava, J. and P.Y. Chen (1999), “Warehouse Creation-A Potential Roadblock to Data Warehousing,” IEEE, Vol. 11, No.1 January/February.
41. Stuller, J. (2000), “Inconsistencies in Data Warehousing,” IEEE.
42. Tan, J., A. Zaslavaky, and A. Bond (2000), “Meta Object Approach to Database Schema Integration,” IEEE.
43. Tseng, Frank S.C., J.J. Chiang, and W.P. Yang (1998), “Integration of Relations with Conflicting Schema Structures in Heterogeneous Database Systems,” Data and knowledge Engineering, Vol.27, pp. 231-248.
44. Vassiliadis, P., C. Quix, Y. Vassiliou, and M. Jarke (2001), “Data Warehouse Process Management,” Information Systems, Vol.26, pp. 205-236.
45. Vassiliadis, P., Z. Vagena, S. Skiadopoulos, N. Karayannidis, and T. Sellis (2001), “ ARKTOS: Towards the Modeling, Design, Control and Execution of ETL Processes,“ Information Systems, Vol. 26, No.8, pp. 537-561.
46. Wang, R.Y., V.C. Storey, and C.P. Firth (1995), “A Framework for Analysis of Data Quality Research,” IEEE Transactions on Knowledge and Data Engineering, Vol.7, No.4.
47. Wu, L., L. Miller, and S. Nilakanta (2001), “Design of Data Warehouse Using Metadata,” Information and Software Technology, Vol.43, pp. 109-119.
48. Zhao, J.L. (1997), “Schema Coordination in Federated Database Management: A Comparison with Schema Integration,” Decision Support Systems, Vol.20, pp. 243-257.