7.了解數(shù)據(jù)倉(cāng)庫(kù)的含義以及數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)庫(kù)的區(qū)別。數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)庫(kù)的區(qū)別,將數(shù)據(jù)庫(kù)定義為存儲(chǔ)數(shù)據(jù)的倉(cāng)庫(kù),數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)庫(kù)的主要區(qū)別有一個(gè)通俗的理解:數(shù)據(jù)倉(cāng)庫(kù):就像是給我們蓋了一個(gè)房子住,數(shù)據(jù)倉(cāng)庫(kù)的含義,由于數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)源系統(tǒng)在數(shù)據(jù)格式和數(shù)據(jù)模型上有很大的差異,所以很難客觀地形成數(shù)據(jù)倉(cāng)庫(kù)的ETL實(shí)現(xiàn)過(guò)程。
大數(shù)據(jù)熱詞匯總可以說(shuō),大數(shù)據(jù)是當(dāng)今IT行業(yè)最熱門的趨勢(shì)之一,催生了一批全新的處理大數(shù)據(jù)的技術(shù)。新技術(shù)帶來(lái)了新的熱詞:首字母縮寫詞、技術(shù)術(shù)語(yǔ)和產(chǎn)品名稱。甚至大數(shù)據(jù)這個(gè)詞本身也令人困惑。很多人聽(tīng)到大數(shù)據(jù),以為是指大量的數(shù)據(jù),大數(shù)據(jù)的含義涉及的不僅僅是數(shù)據(jù)量。以下是一些我們認(rèn)為你應(yīng)該熟悉的流行詞,按字母順序排列。
雖然ACID已經(jīng)存在了一段時(shí)間,但是快速增長(zhǎng)的交易數(shù)據(jù)更加注重在處理大數(shù)據(jù)時(shí)滿足ACID的要求。大數(shù)據(jù)的三個(gè)要素今天的IT系統(tǒng)正在生成數(shù)量、速度和種類都非常龐大的數(shù)據(jù)。數(shù)量:IDC預(yù)計(jì)今年全球信息量將達(dá)到2.7太字節(jié)(相當(dāng)于27億太字節(jié)),每?jī)赡攴环?/p>
一直想整理一下這段內(nèi)容。既然是漫談,想到什么就說(shuō)什么。比如我一直在互聯(lián)網(wǎng)行業(yè)。先簡(jiǎn)單列舉一下互聯(lián)網(wǎng)行業(yè)數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)平臺(tái)的目的:整合公司所有業(yè)務(wù)數(shù)據(jù),建立統(tǒng)一的數(shù)據(jù)中心;提供各種報(bào)表,有的給高管,有的給各種業(yè)務(wù);為網(wǎng)站運(yùn)營(yíng)提供運(yùn)營(yíng)數(shù)據(jù)支持,就是通過(guò)數(shù)據(jù)讓運(yùn)營(yíng)者及時(shí)了解網(wǎng)站和產(chǎn)品的運(yùn)營(yíng)效果;為各項(xiàng)業(yè)務(wù)提供線上或線下數(shù)據(jù)支持,成為公司統(tǒng)一的數(shù)據(jù)交換和提供平臺(tái);通過(guò)數(shù)據(jù)挖掘分析用戶行為數(shù)據(jù),降低投入成本,提高投入效果;比如定向精準(zhǔn)廣告,用戶個(gè)性化推薦等。;開(kāi)發(fā)數(shù)據(jù)產(chǎn)品,使公司直接或間接受益;搭建開(kāi)放的數(shù)據(jù)平臺(tái),開(kāi)放公司數(shù)據(jù);。
3、《數(shù)據(jù)倉(cāng)庫(kù)工具箱》讀書筆記(一1、方便保存數(shù)據(jù)2、數(shù)據(jù)一致性3、適應(yīng)變化4、及時(shí)顯示數(shù)據(jù)5、信息安全6、數(shù)據(jù)權(quán)威7、支持業(yè)務(wù)1、了解業(yè)務(wù)、了解用戶2、為用戶提供高質(zhì)量、相關(guān)、可訪問(wèn)的信息3、維護(hù)數(shù)據(jù)倉(cāng)庫(kù)/分析環(huán)境1、維度模型和3NF模型包含相同的數(shù)據(jù),但維度模型存儲(chǔ)的數(shù)據(jù)更容易理解。具有更靈活包的事實(shí)表:2 .維度模型中的事實(shí)表來(lái)自業(yè)務(wù)流程性能的度量;3.事實(shí)表中的每一行對(duì)應(yīng)一個(gè)測(cè)量事件;4.每行中的數(shù)據(jù)是特定級(jí)別的詳細(xì)數(shù)據(jù),稱為粒度5,事實(shí)表通常分為事務(wù)、累積快照和定期快照。事實(shí)表的主鍵通常是一個(gè)組合鍵維度表:7。維度表包含與業(yè)務(wù)流程度量事件相關(guān)的文本環(huán)境。8.數(shù)據(jù)倉(cāng)庫(kù)分析環(huán)境取決于維度屬性的質(zhì)量和深度。1.金球1。收集業(yè)務(wù)需求和數(shù)據(jù)實(shí)現(xiàn)。2.維度設(shè)計(jì)流程:選擇業(yè)務(wù)流程、聲明粒度、確認(rèn)維度、確認(rèn)事實(shí)3。業(yè)務(wù)流程是由組織完成的操作活動(dòng)(訂單、注冊(cè))。4.粒度:事務(wù)表中的每一行代表什么?5.維度:用于描述環(huán)境。6.事實(shí):度量業(yè)務(wù)流程。7.靈活擴(kuò)展:當(dāng)事實(shí)粒度一致時(shí),可以直接創(chuàng)建列,通過(guò)新的維度列將維度與事實(shí)關(guān)聯(lián)起來(lái)。