Da 數(shù)據(jù)開發(fā)中需要學(xué)習(xí)的內(nèi)容包括三部分，分別是Da 數(shù)據(jù)基礎(chǔ)知識、Da-1渠道常識和Da。常識有三個主要部分:數(shù)學(xué)、統(tǒng)計學(xué)和計算機(jī)；Da 數(shù)據(jù) 渠道常識:是Da 數(shù)據(jù)開發(fā)的基礎(chǔ)，往往基于Hadoop和Spark 渠道。“Da 數(shù)據(jù)”里面有很多技巧:一是Da 數(shù)據(jù) 渠道本身，一般是按照CDH等一些Hadoop產(chǎn)品的產(chǎn)品布局來提供服務(wù)。

二是ETL，即數(shù)據(jù)提取過程，原數(shù)據(jù)in渠道一般來源于公司內(nèi)的其他交易系統(tǒng)，如銀行內(nèi)的信貸、中心等。這些交易系統(tǒng)的數(shù)據(jù)每天都會從交易系統(tǒng)中提取到大的數(shù)據(jù) 渠道中，然后進(jìn)行一系列的標(biāo)準(zhǔn)化、排序等操作，再經(jīng)過一些建模后生成一些模型供下游系統(tǒng)使用。第三個是數(shù)據(jù)分析。數(shù)據(jù)收集完成后，根據(jù)這些數(shù)據(jù)，應(yīng)該做什么樣的處理，比如報表應(yīng)用，可能是每天寫SQL開發(fā)報表；其他，如風(fēng)險監(jiān)控等。渠道，應(yīng)按照大數(shù)據(jù) 渠道收藏數(shù)據(jù)。

1。出版數(shù)據(jù) Set:許多組織和政府機(jī)構(gòu)對研究人員開放數(shù)據(jù) Set，如美國國家氣象局提供的氣象學(xué)數(shù)據(jù)，印度政府提供的人口普查數(shù)據(jù)等等。2.網(wǎng)絡(luò)爬蟲:可以利用網(wǎng)絡(luò)爬蟲技術(shù)在網(wǎng)上搜集數(shù)據(jù)，比如Google的蜘蛛爬蟲，爬蟲框架Scrapy等等。3.社交媒體API:許多社交媒體平臺都提供API接口，允許研究人員收集用戶數(shù)據(jù)。比如TwitterAPI，F(xiàn)acebookAPI，微信微信官方賬號API等等。

5.代購第三方數(shù)據(jù):很多第三方數(shù)據(jù)提供商提供各種服務(wù)，比如營銷數(shù)據(jù)、用戶行為數(shù)據(jù)、市場。比如國內(nèi)有艾瑞、易觀、大豆新經(jīng)濟(jì)研究院等等。國外有尼爾森，Kantar，F(xiàn)orrester等等。6.合作開發(fā):與企業(yè)、科研機(jī)構(gòu)合作，共同開發(fā)共享數(shù)據(jù)。

Da 數(shù)據(jù)發(fā)展趨勢驅(qū)動渠道未來技術(shù)和服務(wù)在Da 數(shù)據(jù)時代，最流行的兩種技術(shù)是存儲和備份，包括產(chǎn)品和服務(wù)。企業(yè)可以使用這些設(shè)備和技術(shù)來確保在必要時完成關(guān)鍵任務(wù)、歸檔和非結(jié)構(gòu)化處理。但這些技術(shù)的問題是，存儲在其中的數(shù)據(jù)沒有用。換句話說:存儲數(shù)據(jù)讓企業(yè)白花錢。進(jìn)入“大數(shù)據(jù)”時代，許多供應(yīng)商充分利用“大數(shù)據(jù)”的趨勢，將有競爭力的產(chǎn)品和服務(wù)推向市場。

這也反映出企業(yè)已經(jīng)無法承擔(dān)閑置的成本數(shù)據(jù)。辦理數(shù)據(jù)已經(jīng)是大生意了。根據(jù)Deloitte 數(shù)據(jù)，今年企業(yè)軟件的總銷售額將超過270億美元，其中約四分之一將來自big 數(shù)據(jù)，企業(yè)資源管理和商業(yè)智能。Da 數(shù)據(jù)的目標(biāo)比較簡單:充分利用倉儲中的閑置和非盈利數(shù)據(jù)預(yù)測業(yè)務(wù)發(fā)展趨勢，發(fā)掘新的機(jī)會，推動更高層次的銷售。此外，big 數(shù)據(jù)更多的是降低風(fēng)險，同時使企業(yè)管理者能夠更好地了解自己的經(jīng)營環(huán)境，做出更加明智和準(zhǔn)確的經(jīng)營決策。