五種大數(shù)據(jù)Processing架構(gòu)Big數(shù)據(jù)是收集、整理和處理大容量數(shù)據(jù)集合并從中獲得洞見(jiàn)所需的非傳統(tǒng)策略和技術(shù)的總稱。雖然處理數(shù)據(jù)所需的計(jì)算能力或存儲(chǔ)容量早已超過(guò)了一臺(tái)計(jì)算機(jī)的上限，但這種計(jì)算類型的普遍性、規(guī)模和價(jià)值只是在近幾年才經(jīng)歷了大規(guī)模的膨脹。本文將介紹big 數(shù)據(jù)系統(tǒng)的最基本組件——處理框架。處理框架負(fù)責(zé)計(jì)算數(shù)據(jù)在系統(tǒng)中，比如處理數(shù)據(jù)從非易失性存儲(chǔ)中讀取或者處理數(shù)據(jù)剛剛攝入到系統(tǒng)中。

這些框架將介紹如下:僅批處理框架:ApacheHadoop僅流框架:ApacheStormApacheSamza混合框架:Apache sparkapacheflink large數(shù)據(jù)什么是處理框架？處理框架和引擎負(fù)責(zé)系統(tǒng)中數(shù)據(jù)的計(jì)算。雖然對(duì)于“引擎”和“框架”的區(qū)別并沒(méi)有權(quán)威的定義，但是大多數(shù)時(shí)候，前者可以定義為實(shí)際處理數(shù)據(jù)操作的組件，后者可以定義為承擔(dān)類似功能的一系列組件。

確定系統(tǒng)要實(shí)現(xiàn)的功能是什么。2確定數(shù)據(jù)來(lái)源和目的地。3.確定系統(tǒng)的輸入/輸出數(shù)據(jù) stream，以系統(tǒng)為紐帶，畫(huà)出關(guān)聯(lián)圖。4、自上而下，逐層分解，對(duì)上層圖的全部或部分加工環(huán)節(jié)進(jìn)行分解和細(xì)化。要徹底分裂。5.檢查圖紙的布局是否合理。分解要適當(dāng)，要徹底。不得有遺漏、重復(fù)或沖突。各層dfd和同層dfd的關(guān)系不能搞錯(cuò)。命名和編號(hào)合理。

數(shù)據(jù)fusion平臺(tái)typical架構(gòu)，在源端有不同的數(shù)據(jù)存儲(chǔ)系統(tǒng)，在另一端有各種數(shù)據(jù)。中間是數(shù)據(jù)Fusion平臺(tái)Simple架構(gòu)，組件Sourceconnectors負(fù)責(zé)獲取數(shù)據(jù)。收集數(shù)據(jù)后，會(huì)將其格式化為數(shù)據(jù)并放入TransportChannel。一般TransportChannel會(huì)使用源隊(duì)列或者其他流數(shù)據(jù)框架做中間緩存，包括分布式支持，以及數(shù)據(jù)的分發(fā)。Sinkconnectors負(fù)責(zé)將數(shù)據(jù)寫(xiě)入不同的數(shù)據(jù)目的地。

1，HadoopHadoop MapReduce分布式計(jì)算框架，根據(jù)GFS開(kāi)發(fā)HDFS分布式文件系統(tǒng)，根據(jù)BigTable開(kāi)發(fā)HBase 數(shù)據(jù)存儲(chǔ)系統(tǒng)。Hadoop的開(kāi)源特性使其成為分布式計(jì)算系統(tǒng)事實(shí)上的國(guó)際標(biāo)準(zhǔn)。雅虎、臉書(shū)、亞馬遜、百度、阿里巴巴和中國(guó)其他許多互聯(lián)網(wǎng)公司都基于Hadoop構(gòu)建了自己的發(fā)行版。

Spark和Hadoop最大的區(qū)別是Hadoop用硬盤(pán)存儲(chǔ)數(shù)據(jù)，而Spark用內(nèi)存存儲(chǔ)數(shù)據(jù)，所以Spark能提供比Ha？Doop快了100倍。因?yàn)閿嚯姾髢?nèi)存會(huì)丟失數(shù)據(jù)，所以Spark無(wú)法用來(lái)處理需要長(zhǎng)期存儲(chǔ)的數(shù)據(jù)，3.StormStorm是Twitter推廣的分布式計(jì)算系統(tǒng)?；贖adoop，提供實(shí)時(shí)操作的特點(diǎn)，可以實(shí)時(shí)處理大型數(shù)據(jù) stream。