數據倉庫與數據挖掘

,單擊此處編輯母版標題樣式,單擊此處編輯母版文本樣式,第二級,第三級,第四級,第五級,*,第12章數據倉庫與數據挖掘,基本概念,數據倉庫定義,數據倉庫是一個面向決策主題的、集成的、時變的、非易失、以讀為主的數據集合。,數據倉庫系統(tǒng)的分類,Web數據倉庫；并行數據倉庫；多維數據倉庫；壓縮數據倉庫等。,OLAP定義,OLAP是針對某個特定的主題進行聯(lián)機數據訪問、處理和分析，通過直觀的方式從多個維度、多種數據綜合程度將系統(tǒng)的運營情況展現給用戶。,面向決策主題的,數據倉庫圍繞一些主題,排除對于決策無用的數據,提供特定主體的簡明視圖。,集成的,構造數據倉庫是將多個異種數據源集成在一起,確保命名約定,編碼結構,屬性度量等一致性。,時變的,數據存儲從歷史的角度提供信息.在數據倉庫,隱式或顯式地包含時間元素。,非易失的,數據倉庫總是物理地分離存放數據；由于這種分離，數據倉庫不需要事務處理，恢復和并發(fā)控制。通常數據倉庫只需要兩種數據訪問:數據的初始化裝入和數據訪問。,以讀為主的,數據倉庫中的數據主要是提供決策進行查詢，一般不一定都需要即時更新，可以定期刷新或按需刷新。,數據倉庫基本特性,數據倉庫項目流程管理及系統(tǒng)性能管理和監(jiān)控,OLTP,數據源,數據倉庫,數據集市,數據采集及整合,數據的映射規(guī)則、模型,。,（元數據管理）,數據展現及決策,生產,財務,結算,外部,地區(qū),分析,總量,分析,市場,分析,E,T,L,數據分析、DM,終端用戶,終端用戶,數據倉庫體系結構,數據倉庫的結構,早期細節(jié)級,當前細節(jié)級,輕度綜合級,數據集市,高度綜合級,元數據,操作型轉換,數據倉庫中的幾個重要概念,ETL,ETL（Extract/Transformation/Load）,用戶從數據源抽取出所需的數據，經過數據清洗、轉換,最終按照預先定義好的數據倉庫模型，將數據加載到數據倉庫中去。,元數據,關于數據的數據，指在數據倉庫建設過程中所產生的有關數據源定義、目標定義、轉換規(guī)則等相關的關鍵數據。同時元數據還包含關于數據含義的商業(yè)信息。,Data Mart,數據集市-小型的，面向部門或工作組級數據倉庫,。,Operation Data Store,操作數據存儲,ODS,是能支持企業(yè)日常的全局應用的數據集合，是不同于,DB,的一種新的數據環(huán)境,是,DW,擴展后得到的一個混合形式。四個基本特點：面向主題的(,Subject-Oriented)、,集成的、可變的、當前或接近當前的。,粒度,數據倉庫的數據單元中保存數據的細化或綜合程度的級別。細化程度越高，粒度級就越??；相反，細化程度越低，粒度級就越大。,分割,結構相同的數據可以被分成多個數據物理單元。任何給定的數據單元屬于且僅屬于一個分割。,數據倉庫中的幾個重要概念,(續(xù)),操作數據庫與數據倉庫的區(qū)別,操作數據庫系統(tǒng)的主要任務是聯(lián)機事務處理OLTP,數據倉庫在數據分析和決策方面為用戶提供服務，這種系統(tǒng)稱為聯(lián)機分析處理OLAP,基本數據模式,星型模式,日期維表,TimeID,Day,Month,Year,銷售事實表,TimeID,ProductID,RegionID,Sales,Quantity,產品維表,ProductID,ProductName,ClassID,ClassName,CategoryID,CategoryName,地區(qū)維表,RegionD,City,Province,Country,基本數據模式（續(xù)1）,雪花模式,銷售事實表,TimeID,ProductID,RegionID,Sales,Quantity,日期維表,TimeID,day,Month,產品維表,ProductID,ProductName,ClassID,ClassName,地區(qū)維表,RegionID,City,Province,月表,Month,Year,類別表,ClassID,Category ID,CategoryName,省份表,Province,Country,基本數據模式（續(xù)2）,多維模型,Cube,（,D,1,D,2,Dn,M,1,M,2,M,m,）,數據倉庫的主要應用,信息處理,支持查詢和基本的統(tǒng)計分析，并使用表或圖進行報告。,分析處理,支持基本的OLAP操作，在匯總的和細節(jié)的歷史數據上操作。,數據挖掘,支持知識發(fā)現，包括找出隱藏的模式和關聯(lián)，構造分析模型，進行分類和預測，并用可視化工具提供挖掘結果.,OLAP發(fā)展背景,60年代，關系數據庫之父E.F.Codd提出了關系模型，促進了聯(lián)機事務處理(OLTP)的發(fā)展(數據以表格的形式而非文件方式存儲)。1993年，E.F.Codd提出了OLAP概念，認為OLTP已不能滿足終端用戶對數據庫查詢分析的需要，SQL對大型數據庫進行的簡單查詢也不能滿足終端用戶分析的要求。用戶的決策分析需要對關系數據庫進行大量計算才能得到結果，而查詢的結果并不能滿足決策者提出的需求。因此，E.F.Codd提出了多維數據庫和多維分析的概念，即OLAP。,OLTP數據 OLAP數據,原始數據 導出數據,細節(jié)性數據 綜合性和提煉性數據,當前值數據 歷史數據,可更新 不可更新，但周期性刷新,一次處理的數據量小 一次處理的數據量大,面向應用，事務驅動 面向分析，分析驅動,面向操作人員，支持日常操作 面向決策人員，支持管理需要,什么是OLAP？,定義1：OLAP(聯(lián)機分析處理)是針對特定問題的聯(lián)機數據訪問和分析。通過對信息(維數據)的多種可能的觀察形式進行快速、穩(wěn)定一致和交互性的存取，允許管理決策人員對數據進行深入觀察。,定義2：OLAP(聯(lián)機分析處理)是使分析人員、管理人員或執(zhí)行人員能夠從多種角度對從原始數據中轉化出來的、能夠真正為用戶所理解的、并真實反映企業(yè)維特性的信息進行快速、一致、交互地存取，從而獲得對數據的更深入了解的一類軟件技術。(OLAP委員會的定義),OLAP的目標是滿足決策支持或多維環(huán)境特定的查詢和報表需求，它的技術核心是“維”這個概念，因此OLAP也可以說是多維數據分析工具的集合。,OLAP相關基本概念,1）維：是人們觀察數據的特定角度，是考慮問題時的一類屬性，屬性集合構成一個維(時間維、地理維等)。,2）維的層次：人們觀察數據的某個特定角度(即某個維)還可以存在細節(jié)程度不同的各個描述方面(時間維：日期、月份、季度、年)。,3）維的成員：維的一個取值。是數據項在某維中位置的描述。(“某年某月某日”是在時間維上位置的描述),4）多維數組：維和變量的組合表示。一個多維數組可以表示為：(維1，維2，維n，變量)。(時間，地區(qū)，產品，銷售額),5）數據單元(單元格)：多維數組的取值。(2000年1月，上海，筆記本電腦，$100000,),OLAP特性,(1)快速性:,用戶對OLAP的快速反應能力有很高的要求。系統(tǒng)應能在5秒內對用戶的大部分分析要求做出反應。,(2)可分析性:,OLAP系統(tǒng)應能處理與應用有關的任何邏輯分析和統(tǒng)計分析。,(3)多維性:,多維性是OLAP的關鍵屬性。系統(tǒng)必須提供對數據的多維視圖和分析,包括對層次維和多重層次維的完全支持。,(4)信息性:,不論數據量有多大，也不管數據存儲在何處，OLAP系統(tǒng)應能及時獲得信息，并且管理大容量信息。,OLAP基本操作,上卷操作：通過維層次，在數據立方體上進行聚集。,下鉆操作：是上卷操作的逆操作，由不太詳細的數據到更詳細的數據。,切片和切塊：切片在給定的數據立方體的一個維上進行選擇，切塊則是在兩個或兩個以上的維進行選擇。,旋轉操作：是改變維度的位置關系，使最終用戶可以從其他視角來觀察多維數據。,OLTP和OLAP的區(qū)別,用戶和系統(tǒng)的面向性:,OLTP是面向顧客的,用于事務和查詢處理；,OLAP是面向市場的,用于數據分析。,數據內容:,OLTP系統(tǒng)管理當前數據；,OLAP系統(tǒng)管理大量歷史數據,提供匯總和聚集機制。,數據庫設計:,OLTP采用實體-聯(lián)系ER模型和面向應用的數據庫設計；,OLAP采用星型或雪花模型和面向主題的數據庫設計。,視圖:,OLTP主要關注一個企業(yè)或部門內部的當前數據,不涉及歷史數據或不同組織的數據；,OLAP則相反，不僅關注本企業(yè)或組織內部的當前數據，而且更多地涉及到歷史數據和其他組織的數據。,訪問模式,:,OLTP系統(tǒng)的訪問主要由短的原子事務組成，這種系統(tǒng)需要并行和恢復機制。,OLAP系統(tǒng)的訪問大部分是只讀操作。,OLTP和OLAP的區(qū)別(續(xù)),OLAP,的分析方法(一)切片、切塊,OLAP,的分析方法(二)鉆取,按時間維向下鉆取,按時間維向上鉆取,60,OLAP,的分析方法(三)旋轉,OLAP服務器類型,關系OLAP(,ROLAP,)模型,使用關系或擴充關系DBMS存放并管理數據倉庫。,多維OLAP(MOLAP)服務器,這些服務器通過基于數組的多維存儲，支持數組的多維視圖。,混合OLAP(HOLAP)服務器,結合ROLAP和MOLAP技術，得宜于ROLAP的可伸縮性和MOLAP的快速計算。,數據組織形式,RDB,數據組織,MDDB,數據組織 關系表中綜合數據的存放,多維數據庫中綜合數據的存放,產品名稱,地區(qū),銷售量,冰箱,東北,50,冰箱,西北,60,冰箱,華北,100,彩電,東北,40,彩電,西北,70,彩電,華北,80,空調,東北,90,空調,西北,120,空調,華北,140,東北,西北,華北,冰箱,50,60,100,彩電,40,70,80,空調,90,120,140,產品名稱,地區(qū),銷售量,冰箱,東北,50,冰箱,西北,60,冰箱,華北,100,冰箱,總和,210,彩電,東北,40,彩電,西北,70,彩電,華北,80,彩電,總和,190,空調,東北,90,空調,西北,120,空調,華北,140,空調,總和,350,總和,東北,180,總和,西北,250,總和,華北,320,總和,總和,750,東北,西北,華北,總和,冰箱,50,60,100,210,彩電,40,70,80,190,空調,90,120,140,350,總和,180,250,320,750,ROLAP體系結構,SQL,Result,Set,Info.,Request,Result,Set,Database Server,R,DBMS,Front-end Tool,ROALP Architecture,ROLAP Server,Metadata,Request,Processing,MOLAP體系結構,SQL,Result,Set,Info.,Request,Result,Set,Load,Database Server,RDBMS,Front-end Tool,MOALP Architecture,MOLAP Server,Metadata,Request,Processing,HOLAP體系結構(續(xù)),Result Set,SQL Query,SQL,Result,Set,Info.,Request,Result,Set,Load,Database Server,RDBMS,Front-end Tool,Hybrid Architecture,MOLAP Server,用戶圖形界面API,數據庫,數據倉庫,數據庫,元數據,OLAM,引擎,OLAP,引擎,MDDB,數據方API,數據庫API,基于約束的數據挖掘,數據清理,過濾,挖掘結果,數據集成,數據過濾,數據集成,第一層,數據存儲,第二層,多維數據庫,第三層,OLAP/OLAM,第四層,用戶界面,一個集成的OLAM和OLAP結構,OLAP的Web表現方式,靜態(tài)方法,靜態(tài)HTML報表,動態(tài)方法,通過HTML模板及元數據動態(tài)生成報表,改進方法,使用Java或ActiveX,CGI,API,HTML,Java Scrip,ActiveX,客戶瀏覽器,Web服務器應用,OLAP Server,基于Web的OLAP結構,Database Server,