數(shù)據(jù)倉(cāng)庫(kù)作為全行或全公司的數(shù)據(jù)中心和總線,收集全行所有系統(tǒng)和外部數(shù)據(jù)。好的系統(tǒng)架構(gòu)可以保證系統(tǒng)的穩(wěn)定性和高處理效率,那么如何保證系統(tǒng)數(shù)據(jù)的完整性、規(guī)范性和統(tǒng)一性呢?需要一個(gè)好的數(shù)據(jù)分區(qū)和數(shù)據(jù)模型。數(shù)據(jù)分區(qū)是在數(shù)據(jù)架構(gòu)的第三部分中引入的。本節(jié)將介紹如何設(shè)計(jì)數(shù)據(jù)模型。1.各數(shù)據(jù)分區(qū)的模型設(shè)計(jì)思路:數(shù)據(jù)架構(gòu)中提到數(shù)據(jù)倉(cāng)庫(kù)主要分為以下幾個(gè)區(qū)域,各數(shù)據(jù)區(qū)域的主要設(shè)計(jì)原則如下:(1)主數(shù)據(jù)區(qū):主數(shù)據(jù)區(qū)是全行最完整的基礎(chǔ)數(shù)據(jù)區(qū),保存歷史,作為整個(gè)數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)主存儲(chǔ)區(qū)。后續(xù)數(shù)據(jù)可以從主數(shù)據(jù)區(qū)的數(shù)據(jù)處理中獲得,所以主數(shù)據(jù)區(qū)的數(shù)據(jù)自然需要保留所有歷史數(shù)據(jù)軌跡。
6、什么是元數(shù)據(jù)Metadata也稱為中間數(shù)據(jù)和元數(shù)據(jù),是dataaboutdata,主要是關(guān)于數(shù)據(jù)屬性的信息,用于支持指示存儲(chǔ)位置、歷史數(shù)據(jù)、資源搜索、文件記錄等功能。元數(shù)據(jù)是一種電子目錄。為了編制目錄,必須描述和收集數(shù)據(jù)的內(nèi)容或特征,以便輔助數(shù)據(jù)檢索。元數(shù)據(jù)主要記錄模型在數(shù)據(jù)倉(cāng)庫(kù)中的定義,不同層次之間的映射關(guān)系,監(jiān)控?cái)?shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)狀態(tài)和ETL的任務(wù)運(yùn)行狀態(tài)。
7、如何有效的進(jìn)行數(shù)據(jù)治理和數(shù)據(jù)管控?數(shù)據(jù)治理和數(shù)據(jù)管控近年來(lái)越來(lái)越受到各方的重視。它們其實(shí)有一定的相似性和側(cè)重點(diǎn)。數(shù)據(jù)治理通常需要包括整個(gè)數(shù)據(jù)生命周期,從創(chuàng)建到消亡。因此,有效數(shù)據(jù)治理的主要步驟包括:成立數(shù)據(jù)治理委員會(huì)、制定數(shù)據(jù)治理框架、確定數(shù)據(jù)治理方案、選擇數(shù)據(jù)治理工具、實(shí)施數(shù)據(jù)治理、維護(hù)和增強(qiáng)數(shù)據(jù)治理等。目前市場(chǎng)上有比較成熟的數(shù)據(jù)治理的產(chǎn)品和服務(wù)商,如IBM、宜信華辰等,可以從元數(shù)據(jù)、主數(shù)據(jù)、數(shù)據(jù)質(zhì)量、數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)資產(chǎn)、數(shù)據(jù)處理、數(shù)據(jù)交換、數(shù)據(jù)安全、數(shù)據(jù)生命周期等多個(gè)方面進(jìn)行管理。
8、如何通過(guò)元數(shù)據(jù)管理工具提高元數(shù)據(jù)質(zhì)量?作為一家經(jīng)驗(yàn)豐富的平臺(tái)軟件廠商,普元推出了元數(shù)據(jù)管理平臺(tái)產(chǎn)品Puyuan MetaCube,為企業(yè)建立元數(shù)據(jù)管理系統(tǒng)提供可靠便捷的工具支持,從而更有效地挖掘和利用信息資產(chǎn)的價(jià)值,實(shí)現(xiàn)準(zhǔn)確高效的分析和決策,在復(fù)雜的市場(chǎng)環(huán)境中獲得競(jìng)爭(zhēng)優(yōu)勢(shì)。普元元立方產(chǎn)品是一個(gè)企業(yè)級(jí)元數(shù)據(jù)管理平臺(tái)。它從企業(yè)中的數(shù)據(jù)倉(cāng)庫(kù)領(lǐng)域收集技術(shù)、業(yè)務(wù)元數(shù)據(jù)和流程元數(shù)據(jù),為企業(yè)提供端到端的元數(shù)據(jù)服務(wù)。
9、關(guān)于數(shù)據(jù)倉(cāng)庫(kù)中的元數(shù)據(jù)的問(wèn)題(1)技術(shù)元數(shù)據(jù)技術(shù)元數(shù)據(jù)是存儲(chǔ)有關(guān)商業(yè)智能系統(tǒng)的技術(shù)細(xì)節(jié)的數(shù)據(jù),用于開(kāi)發(fā)和管理商業(yè)智能系統(tǒng)。主要包括以下信息:商業(yè)智能系統(tǒng)的結(jié)構(gòu)描述,包括數(shù)據(jù)源、數(shù)據(jù)轉(zhuǎn)換、抽取過(guò)程、數(shù)據(jù)加載策略和目標(biāo)數(shù)據(jù)庫(kù)的定義;它還包括數(shù)據(jù)倉(cāng)庫(kù)中使用的模式、視圖、維度、層次、類別和屬性的定義,以及立方體的存儲(chǔ)模式。簡(jiǎn)而言之,技術(shù)元數(shù)據(jù)是為系統(tǒng)管理員和數(shù)據(jù)倉(cāng)庫(kù)開(kāi)發(fā)人員提供的。管理者需要了解運(yùn)營(yíng)環(huán)境與商業(yè)智能環(huán)境的映射關(guān)系(即ETL數(shù)據(jù)提取的映射關(guān)系)、數(shù)據(jù)刷新規(guī)則、數(shù)據(jù)安全、數(shù)據(jù)庫(kù)優(yōu)化和任務(wù)調(diào)度。
在實(shí)際的商業(yè)智能開(kāi)發(fā)過(guò)程中,業(yè)務(wù)元數(shù)據(jù)和技術(shù)元數(shù)據(jù)是相互關(guān)聯(lián)的,對(duì)元數(shù)據(jù)的深刻理解是數(shù)據(jù)倉(cāng)庫(kù)應(yīng)用和維護(hù)的基礎(chǔ)。(2)業(yè)務(wù)元數(shù)據(jù)業(yè)務(wù)元數(shù)據(jù)從業(yè)務(wù)角度描述商業(yè)智能系統(tǒng)中的數(shù)據(jù),是用戶和真實(shí)系統(tǒng)之間的語(yǔ)義層,讓不懂計(jì)算機(jī)技術(shù)的業(yè)務(wù)人員也能“理解”商業(yè)智能系統(tǒng)中的數(shù)據(jù)。
10、數(shù)據(jù)倉(cāng)庫(kù)與數(shù)據(jù)挖掘問(wèn)題哪個(gè)挖掘機(jī)更強(qiáng)?在山東找到藍(lán)翔。公共通信平臺(tái)1介紹了數(shù)據(jù)倉(cāng)庫(kù)是面向主題的、集成的、與時(shí)間相關(guān)的和不可修改的數(shù)據(jù)集合,數(shù)據(jù)倉(cāng)庫(kù)技術(shù)是基于信息系統(tǒng)業(yè)務(wù)發(fā)展的需要和數(shù)據(jù)庫(kù)系統(tǒng)技術(shù)而產(chǎn)生的一系列新的應(yīng)用技術(shù),并逐漸獨(dú)立出來(lái)。數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)可以看作是基于數(shù)學(xué)和統(tǒng)計(jì)的嚴(yán)密邏輯思維來(lái)實(shí)現(xiàn)“科學(xué)判斷和有效行為”的工具,也是實(shí)現(xiàn)“數(shù)據(jù)集成和知識(shí)管理”的有效手段。