五大數(shù)據(jù)處理架構(gòu)大數(shù)據(jù)是收集、組織和處理大容量數(shù)據(jù)集并從中獲得洞察所需的非傳統(tǒng)策略和技術(shù)的總稱(chēng)。盡管處理數(shù)據(jù)所需的計(jì)算能力或存儲(chǔ)容量早已超過(guò)了一臺(tái)計(jì)算機(jī)的上限，但這種類(lèi)型計(jì)算的普遍性、規(guī)模和價(jià)值只是在最近幾年才經(jīng)歷了大規(guī)模的擴(kuò)張。本文將介紹大數(shù)據(jù)系統(tǒng)的一個(gè)基本組件:處理框架。處理框架負(fù)責(zé)計(jì)算系統(tǒng)中的數(shù)據(jù)，例如處理從非易失性存儲(chǔ)中讀取的數(shù)據(jù)或處理剛剛攝入系統(tǒng)中的數(shù)據(jù)。

這些框架將介紹如下:僅批處理框架:ApacheHadoop僅流框架:ApacheStormApacheSamza混合框架:ApacheSparkApacheFlink什么是大數(shù)據(jù)處理框架？處理框架和處理引擎負(fù)責(zé)計(jì)算數(shù)據(jù)系統(tǒng)中的數(shù)據(jù)。“引擎”和“框架”的區(qū)別雖然沒(méi)有權(quán)威的定義，但很多時(shí)候，前者可以定義為實(shí)際負(fù)責(zé)處理數(shù)據(jù)操作的組件，后者可以定義為承擔(dān)類(lèi)似功能的一系列組件。

企業(yè)架構(gòu)方法一直強(qiáng)調(diào)對(duì)組織的業(yè)務(wù)、應(yīng)用、數(shù)據(jù)和技術(shù)架構(gòu)進(jìn)行全面、積極的設(shè)計(jì)，以達(dá)到組織戰(zhàn)略與業(yè)務(wù)的契合，以及業(yè)務(wù)與IT的契合。但是很多項(xiàng)目很難真正做到這一點(diǎn)。原因有三:建筑學(xué)理論不到位。學(xué)習(xí)TOGAF有助于建立架構(gòu)思維，但遠(yuǎn)遠(yuǎn)不夠。即使通過(guò)了TOGAF認(rèn)證，也需要通過(guò)具體的項(xiàng)目實(shí)施，不斷反思TOGAF的內(nèi)容，然后進(jìn)行裁剪和補(bǔ)充，逐步形成建筑項(xiàng)目的具體實(shí)施方法。

架構(gòu)強(qiáng)調(diào)的是正向設(shè)計(jì)，業(yè)務(wù)、應(yīng)用、數(shù)據(jù)、技術(shù)架構(gòu)是自上而下的正向推導(dǎo)，是自下而上的反向承接關(guān)系。這就要求在架構(gòu)項(xiàng)目之初，就要規(guī)劃好架構(gòu)項(xiàng)目的完整技術(shù)路徑，設(shè)計(jì)好項(xiàng)目過(guò)程中使用的大部分工具和模板。通過(guò)工具和模板，可以保證體系結(jié)構(gòu)之間的邏輯關(guān)系，從而保證體系結(jié)構(gòu)域之間承諾的實(shí)現(xiàn)。對(duì)項(xiàng)目實(shí)施顧問(wèn)的能力要求很高。無(wú)論架構(gòu)項(xiàng)目的邊界和范圍是什么，都要求架構(gòu)實(shí)施顧問(wèn)具備全球化思維，既懂業(yè)務(wù)又懂IT，能夠從戰(zhàn)略角度構(gòu)建邏輯藍(lán)圖，深入挖掘問(wèn)題。

浪潮iGIX企業(yè)數(shù)字化能力平臺(tái)基于云原生和微服務(wù)架構(gòu)，包括技術(shù)、數(shù)據(jù)和業(yè)務(wù)，融合彈性計(jì)算、智能物聯(lián)網(wǎng)、機(jī)器學(xué)習(xí)、認(rèn)知服務(wù)等數(shù)字化技術(shù)，提供低代碼開(kāi)發(fā)、DevOps、混合云集成、生態(tài)開(kāi)放等應(yīng)用創(chuàng)新加速能力。內(nèi)置數(shù)據(jù)資產(chǎn)管理和豐富的數(shù)據(jù)服務(wù)，打破數(shù)據(jù)壁壘，全面整合企業(yè)數(shù)據(jù)資源，構(gòu)建基于數(shù)據(jù)的創(chuàng)新能力；沉淀共享商業(yè)服務(wù)，構(gòu)建基于大共享的商業(yè)服務(wù)能力。

(1)數(shù)據(jù)源是數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的基礎(chǔ)，是整個(gè)系統(tǒng)的數(shù)據(jù)源。通常包括內(nèi)部信息和外部信息。內(nèi)部信息包括存儲(chǔ)在RDBMS中的各種業(yè)務(wù)處理數(shù)據(jù)和各種文檔數(shù)據(jù)。外部信息包括各種法律法規(guī)、市場(chǎng)信息和競(jìng)爭(zhēng)對(duì)手的信息等。(2)數(shù)據(jù)存儲(chǔ)和管理是整個(gè)數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的核心。數(shù)據(jù)倉(cāng)庫(kù)的真正關(guān)鍵是數(shù)據(jù)的存儲(chǔ)和管理。數(shù)據(jù)倉(cāng)庫(kù)的組織和管理模式?jīng)Q定了它不同于傳統(tǒng)數(shù)據(jù)庫(kù)，也決定了它對(duì)外數(shù)據(jù)的表達(dá)形式。

對(duì)現(xiàn)有業(yè)務(wù)系統(tǒng)的數(shù)據(jù)進(jìn)行提取、清洗、有效整合，并按照主題進(jìn)行組織。根據(jù)數(shù)據(jù)的覆蓋范圍，數(shù)據(jù)倉(cāng)庫(kù)可以分為企業(yè)級(jí)數(shù)據(jù)倉(cāng)庫(kù)和部門(mén)級(jí)數(shù)據(jù)倉(cāng)庫(kù)(通常稱(chēng)為數(shù)據(jù)集市)，(3)OLAP(online Analytical Processing，聯(lián)機(jī)分析處理)服務(wù)器將分析所需的數(shù)據(jù)有效整合，按照多維模型進(jìn)行組織，進(jìn)行多角度、多層次的分析，發(fā)現(xiàn)趨勢(shì)。其具體實(shí)現(xiàn)可分為ROLAP(關(guān)系聯(lián)機(jī)分析處理)、MOLAP(多維聯(lián)機(jī)分析處理)和HOLAP(混合聯(lián)機(jī)分析處理)。