2.大數(shù)據(jù)工作中的應(yīng)用數(shù)據(jù)工作中的應(yīng)用有三種。第一個跟業(yè)務(wù)有關(guān)，比如用戶畫像，風(fēng)險控制。第二個是與決策相關(guān)的，數(shù)據(jù)科學(xué)領(lǐng)域，理解統(tǒng)計學(xué)和算法，也就是數(shù)據(jù)科學(xué)家的范疇。第三是與工程相關(guān)，如何實施，如何實現(xiàn)，解決什么業(yè)務(wù)問題，這是數(shù)據(jù) engineer的工作。這說明Da 數(shù)據(jù)是一門很高深的學(xué)問。

評價的主要因素數(shù)據(jù)Foundation架構(gòu)隨著IT行業(yè)不斷灌輸廉價存儲的優(yōu)勢，企業(yè)擁有者比過去多數(shù)據(jù)，那么評價就大數(shù)據(jù) Foundation。本文涉及諸如容量、延遲、可達(dá)性、安全性和成本等重要因素的評估。除了比以前儲存了更多的數(shù)據(jù)之外，推動數(shù)據(jù)發(fā)展的因素也變得更加復(fù)雜。這些來源包括互聯(lián)網(wǎng)交易、社交網(wǎng)絡(luò)活動、自動化傳感器、移動設(shè)備和科學(xué)研究儀器。

但是，現(xiàn)有的擴(kuò)展數(shù)據(jù) set不能保證為業(yè)務(wù)搜索到有價值的信息。今天的信息是重要的生產(chǎn)要素數(shù)據(jù)已經(jīng)和資本、勞動力、原材料一樣，成為生產(chǎn)資料，而且不局限于某一行業(yè)的具體應(yīng)用。企業(yè)各部門以整合越來越多數(shù)據(jù)集合為目標(biāo)，努力降低成本，提高質(zhì)量，增強(qiáng)生產(chǎn)能力，開發(fā)新產(chǎn)品。例如，對現(xiàn)場產(chǎn)品的直接數(shù)據(jù)分析有助于改進(jìn)設(shè)計。

01傳統(tǒng)大-1架構(gòu)之所以叫傳統(tǒng)大數(shù)據(jù) 架構(gòu)是因為它的定位是解決傳統(tǒng)BI的問題。優(yōu)點:簡單易懂。對于BI系統(tǒng)，基本思路沒變，只是技術(shù)選型，BI的組件換成了大-1架構(gòu)缺點:對于Da 數(shù)據(jù)來說，BI下沒有完整的Cube 架構(gòu)業(yè)務(wù)支持的靈活性不夠，對于報表量大或者鉆取復(fù)雜的場景需要過多的手工定制。同時，這個架構(gòu)還是基于批處理，缺乏實時性。

02 Streaming 架構(gòu)在傳統(tǒng)大數(shù)據(jù) 架構(gòu)的基礎(chǔ)上，直接拉出批處理，以Streaming的形式處理數(shù)據(jù)，因此在數(shù)據(jù)的接入端不可用。優(yōu)點:沒有臃腫的ETL過程，數(shù)據(jù)的有效性很高。缺點:批處理中不存在流架構(gòu)，不能很好的支持?jǐn)?shù)據(jù)的回放和歷史統(tǒng)計。對于離線分析，僅支持窗口內(nèi)的分析。適用場景:預(yù)警、監(jiān)控以及數(shù)據(jù)有有效期要求的情況。

big數(shù)據(jù)management數(shù)據(jù)處理流程圖big 數(shù)據(jù)(bigdata)是指在一定時間范圍內(nèi)，常規(guī)軟件工具無法捕捉、管理和處理的數(shù)據(jù)的集合。數(shù)據(jù)處理的主要進(jìn)程有數(shù)據(jù)收集、數(shù)據(jù)存儲、數(shù)據(jù)處理和數(shù)據(jù)應(yīng)用。隨著業(yè)務(wù)的增長，大量與流程和規(guī)則相關(guān)的非結(jié)構(gòu)化數(shù)據(jù)也呈爆炸式增長。平臺數(shù)據(jù) 架構(gòu)流程圖標(biāo)準(zhǔn)數(shù)據(jù)平臺架構(gòu)，

Da 數(shù)據(jù)平臺架構(gòu)、倉庫數(shù)據(jù)市場、Da 數(shù)據(jù)平臺層級、-數(shù)據(jù) 架構(gòu)設(shè)計(數(shù)據(jù)架構(gòu)組)恢復(fù)產(chǎn)品。