如何搭建大數(shù)據(jù)平臺？以下是對企業(yè)實(shí)施和部署大數(shù)據(jù)平臺以及如何有效利用大量數(shù)據(jù)的一些建議。搭建大數(shù)據(jù)平臺有哪些常見問題？如何搭建大數(shù)據(jù)分析平臺？什么是大數(shù)據(jù)平臺？這里的數(shù)據(jù)資源庫與傳統(tǒng)電子政務(wù)建設(shè)中提到的數(shù)據(jù)資源中心有著相同的業(yè)務(wù)目標(biāo)，納入大數(shù)據(jù)平臺后，只會在建設(shè)過程中應(yīng)用分布式存儲、流計算等大數(shù)據(jù)相關(guān)技術(shù)，解決對數(shù)據(jù)的海量性、實(shí)時性要求。

作者|網(wǎng)絡(luò)大數(shù)據(jù)來源|raincent_com城市大數(shù)據(jù)是指城市運(yùn)行過程中產(chǎn)生或獲得的數(shù)據(jù)，是由與其信息收集、處理、利用和交流能力相關(guān)的活動要素構(gòu)成的有機(jī)系統(tǒng)，是國民經(jīng)濟(jì)和社會發(fā)展的重要戰(zhàn)略資源。簡單易懂的公式可以表述為:城市大數(shù)據(jù)城市大數(shù)據(jù)技術(shù)城市功能。城市大數(shù)據(jù)的數(shù)據(jù)資源豐富多樣，廣泛存在于經(jīng)濟(jì)社會的各個領(lǐng)域和部門，是政務(wù)、行業(yè)、企業(yè)等各類數(shù)據(jù)的總和。

根據(jù)數(shù)據(jù)來源和數(shù)據(jù)歸屬的不同，城市大數(shù)據(jù)可分為政府大數(shù)據(jù)、產(chǎn)業(yè)大數(shù)據(jù)和社會公益大數(shù)據(jù)。政府大數(shù)據(jù)是指政府部門在履行職責(zé)過程中產(chǎn)生或獲取的，以一定形式記錄和保存的文件、資料、圖表、數(shù)據(jù)等各類信息資源。工業(yè)大數(shù)據(jù)是指經(jīng)濟(jì)發(fā)展中產(chǎn)生的相關(guān)數(shù)據(jù)，包括工業(yè)數(shù)據(jù)和服務(wù)業(yè)數(shù)據(jù)。另外還有一些社會公益大數(shù)據(jù)。

金融大數(shù)據(jù)平臺的建設(shè)和應(yīng)用是兩個部分，對于金融大數(shù)據(jù)平臺非常重要。因此，在接下來的部分，我們將從大數(shù)據(jù)平臺和銀行可以分析哪些指標(biāo)等角度進(jìn)行闡述。一、大數(shù)據(jù)平臺的整體架構(gòu)可以由以下幾個部分組成:自下而上，如圖，顯示這些環(huán)節(jié):一、業(yè)務(wù)應(yīng)用:其實(shí)是指數(shù)據(jù)采集，你是怎么采集數(shù)據(jù)的？在網(wǎng)上收集數(shù)據(jù)相對簡單，可以通過網(wǎng)頁和app收集數(shù)據(jù)。比如現(xiàn)在很多銀行都有自己的app，更深層次的可以收集用戶行為數(shù)據(jù)，可以劃分很多維度，詳細(xì)分析。

二、數(shù)據(jù)集成:實(shí)際上指的是ETL，即用戶從數(shù)據(jù)源中提取所需數(shù)據(jù)，清洗數(shù)據(jù)，最后根據(jù)預(yù)先定義的數(shù)據(jù)倉庫模型將數(shù)據(jù)加載到數(shù)據(jù)倉庫中。這里的Kettle只是ETL中的一個。三、數(shù)據(jù)存儲:指數(shù)據(jù)倉庫的構(gòu)建，可簡單分為業(yè)務(wù)數(shù)據(jù)層(DW)、指標(biāo)層、維度層、匯總層(DWA)。四、數(shù)據(jù)共享層:指提供數(shù)據(jù)倉庫和業(yè)務(wù)系統(tǒng)之間的數(shù)據(jù)共享服務(wù)。

最簡單的就是提高工作效率，解決工作問題。要構(gòu)建統(tǒng)一的大數(shù)據(jù)平臺，首先要說明為什么要構(gòu)建數(shù)據(jù)倉庫。其核心目的是將分散在各個政府系統(tǒng)中的原始數(shù)據(jù)匯總起來。大家要注意，并不是所有的數(shù)據(jù)都需要匯總，而是需要在多個政府系統(tǒng)中共享的數(shù)據(jù)，以及分析大數(shù)據(jù)時需要用到的各種數(shù)據(jù)。這里的數(shù)據(jù)資源庫與傳統(tǒng)電子政務(wù)建設(shè)中提到的數(shù)據(jù)資源中心有著相同的業(yè)務(wù)目標(biāo)。納入大數(shù)據(jù)平臺后，只會在建設(shè)過程中應(yīng)用分布式存儲、流計算等大數(shù)據(jù)相關(guān)技術(shù)，解決對數(shù)據(jù)的海量性、實(shí)時性要求。