數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)挖掘在客戶關(guān)系管理的關(guān)鍵流程中有什么作用?1)數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)提供標(biāo)準(zhǔn)的報(bào)表和圖表顯示功能。數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)來自不同的業(yè)務(wù)處理系統(tǒng),數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)展示的數(shù)據(jù)是整個(gè)企業(yè)的數(shù)據(jù)集成,數(shù)據(jù)倉(cāng)庫(kù)的作用是通過使用這些最有價(jià)值的業(yè)務(wù)數(shù)據(jù)做出最明智的業(yè)務(wù)決策,3.數(shù)據(jù)倉(cāng)庫(kù)和ETL工具數(shù)據(jù)倉(cāng)庫(kù)和ETL經(jīng)驗(yàn)對(duì)于數(shù)據(jù)工程師來說非常重要。
傳統(tǒng)ERP系統(tǒng)中使用的聯(lián)機(jī)事務(wù)處理(OLTP)已經(jīng)不能滿足最終用戶對(duì)數(shù)據(jù)庫(kù)查詢和分析的需求,SOL對(duì)大型數(shù)據(jù)庫(kù)的簡(jiǎn)單查詢也不能滿足用戶對(duì)分析的需求。用戶的決策分析需要在關(guān)系數(shù)據(jù)庫(kù)上進(jìn)行大量的計(jì)算才能得到結(jié)果,查詢的結(jié)果不能滿足決策者的需求。作為數(shù)據(jù)倉(cāng)庫(kù)的關(guān)鍵支撐技術(shù),聯(lián)機(jī)分析處理(OLAP)技術(shù)具有多維數(shù)據(jù)庫(kù)和多維分析的概念。傳統(tǒng)ERP系統(tǒng)集成數(shù)據(jù)倉(cāng)庫(kù)后,用戶可以通過動(dòng)態(tài)隨機(jī)查詢、瀏覽、計(jì)算、時(shí)序分析、復(fù)雜建模等方式訪問存儲(chǔ)在數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù),從而支持復(fù)雜的分析操作,以直觀易懂的形式向決策者提供查詢結(jié)果,使決策者從各種可能的觀察角度快速、一致、交互地獲取信息。
1首先你得搞清楚建立數(shù)據(jù)倉(cāng)庫(kù)的目的是什么,是整合各個(gè)系統(tǒng)的數(shù)據(jù),服務(wù)于數(shù)據(jù)分析決策,還是快速完成分析決策需求?如果是前者,在對(duì)數(shù)據(jù)倉(cāng)庫(kù)建模時(shí)一般會(huì)選擇er建模方法。如果是后者,一般會(huì)選擇維度建模方式。ER建模:實(shí)體關(guān)系建模,由數(shù)據(jù)倉(cāng)庫(kù)之父BIllInmon提出。核心思想是從整個(gè)企業(yè)的高度設(shè)計(jì)三范式模型,用實(shí)體關(guān)系描述企業(yè)服務(wù)。
維度建模(Dimension modeling):由Kimball提出,核心思想是從分析決策的需求出發(fā)建立模型。該模型由事實(shí)表和維度表組成,即星型模型和雪花型模型。Kimball提倡自下而上的架構(gòu),可以為獨(dú)立部門建立數(shù)據(jù)集市,然后增量式構(gòu)建,匯總成數(shù)據(jù)倉(cāng)庫(kù)。2.其次,你要進(jìn)行深入的業(yè)務(wù)調(diào)研和數(shù)據(jù)研究。業(yè)務(wù)調(diào)研:深入的業(yè)務(wù)調(diào)研可以讓你更加明確建倉(cāng)的目的;同時(shí)也有利于后續(xù)的建模和設(shè)計(jì)。隨著研究的深入,如何將實(shí)體業(yè)務(wù)抽象成多倉(cāng)庫(kù)模型將會(huì)更加清晰。
3、數(shù)據(jù)工程師所需的關(guān)鍵技能有哪些?1。大數(shù)據(jù)架構(gòu)的工具和組件數(shù)據(jù)工程師更注重分析基礎(chǔ)設(shè)施,因此所需技能大多以架構(gòu)為中心。2.深入了解SQL等數(shù)據(jù)庫(kù)解決方案數(shù)據(jù)工程師需要熟悉數(shù)據(jù)庫(kù)管理系統(tǒng),深入了解SQL非常重要。類似地,其他數(shù)據(jù)庫(kù)解決方案,如Cassandra或BigTable,應(yīng)該是熟悉的,因?yàn)椴皇敲總€(gè)數(shù)據(jù)庫(kù)都是按照可識(shí)別的標(biāo)準(zhǔn)構(gòu)建的。3.數(shù)據(jù)倉(cāng)庫(kù)和ETL工具數(shù)據(jù)倉(cāng)庫(kù)和ETL經(jīng)驗(yàn)對(duì)于數(shù)據(jù)工程師來說非常重要。
另外,數(shù)據(jù)存儲(chǔ)和數(shù)據(jù)檢索的體驗(yàn)同樣重要,因?yàn)樘幚淼臄?shù)據(jù)量是天文數(shù)字。4.基于Hadoop的分析(HBase、Hive、MapReduce等。)對(duì)基于ApacheHadoop的分析有深入的了解是這個(gè)領(lǐng)域非常必要的要求。總的來說,HBase,Hive,MapReduce的知識(shí)存儲(chǔ)是必要的。
4、常見數(shù)據(jù)倉(cāng)庫(kù)模式參考