據(jù)我所知章魚還真不少，博若達(dá)數(shù)據(jù)。先說手機(jī)數(shù)據(jù)平臺。他們的核心是信息收集。Web是一個(gè)巨大的資源寶庫。目前頁面數(shù)量已經(jīng)超過800億，并且每小時(shí)都在以驚人的速度增長。有很多你需要的有價(jià)值的信息，比如潛在客戶的名單和聯(lián)系方式，競爭產(chǎn)品的價(jià)格表，實(shí)時(shí)財(cái)經(jīng)新聞，供求信息，論文摘要等等。但是由于關(guān)鍵信息以半結(jié)構(gòu)化或者自由文本的形式存在于大量的HTML頁面中，很難直接使用。

Da 數(shù)據(jù)的應(yīng)用可以分為兩類:第一類是基于自己平臺的數(shù)據(jù) collection，現(xiàn)在三大互聯(lián)網(wǎng)巨頭都有大量的用戶數(shù)據(jù)，可以通過自己的數(shù)據(jù) mining來完成。第二類:基于爬蟲或類爬蟲技術(shù)，幫助企業(yè)和政府收集網(wǎng)上公共信息，即網(wǎng)絡(luò)信息收集系統(tǒng)，好玩又有思想。其主要應(yīng)用有:輿情監(jiān)測、品牌監(jiān)測、價(jià)格監(jiān)測、門戶新聞采集、行業(yè)信息采集、競爭情報(bào)采集、商務(wù)數(shù)據(jù)整合、市場調(diào)研、

常見的收藏工具有Octopus、ContentGrabber、Parsehub、Mozenda、ApacheFlume等。Octopus是一款免費(fèi)的、可視化的、無需編程的網(wǎng)頁獲取軟件，可以從不同的網(wǎng)站中快速提取歸一化的數(shù)據(jù)。ContentGrabber是一款支持智能抓取的網(wǎng)絡(luò)爬蟲軟件。Parsehub是一個(gè)基于web的爬蟲。Mozenda是一款網(wǎng)頁抓取軟件，還可以提供商業(yè)數(shù)據(jù)抓取的定制服務(wù)。

Java:白只要懂點(diǎn)基礎(chǔ)就夠大了數(shù)據(jù)沒有深厚的Java技術(shù)，學(xué)javaSE就相當(dāng)于學(xué)大了數(shù)據(jù)。Linux:因?yàn)镈a 數(shù)據(jù)的相關(guān)軟件運(yùn)行在Linux上，所以需要更扎實(shí)的學(xué)習(xí)Linux。學(xué)好Linux對你快速掌握Da 數(shù)據(jù)相關(guān)技術(shù)會有很大的幫助?？梢宰屇愀玫牧私鈎adoop、hive、hbase、spark等大型數(shù)據(jù)軟件的運(yùn)行環(huán)境和網(wǎng)絡(luò)環(huán)境配置，不用踩很多坑就可以通過學(xué)習(xí)shell了解腳本，更容易理解和配置大型數(shù)據(jù)集群。

動物園管理員:這是靈丹妙藥。安裝Hadoop的HA時(shí)會用到，以后的Hbase也會用到。Mysql:我們已經(jīng)學(xué)完了large 數(shù)據(jù)的處理，接下來還要學(xué)習(xí)處理工具M(jìn)ySQL數(shù)據(jù)library of small數(shù)據(jù)因?yàn)楹竺姘惭bhive的時(shí)候會用到。MySQL需要掌握什么水平？可以在Linux上安裝，運(yùn)行，配置簡單權(quán)限，修改root的密碼，創(chuàng)建數(shù)據(jù) library。

-0/的傳統(tǒng)采集方式可能存在一些問題，導(dǎo)致數(shù)據(jù)的值相對較低。數(shù)據(jù)的傳統(tǒng)采集方式通常需要手工復(fù)制粘貼或使用Excel等工具整理數(shù)據(jù)，效率低下且容易出錯。另外，傳統(tǒng)的數(shù)據(jù)采集方式無法滿足大規(guī)模數(shù)據(jù)采集需求，無法實(shí)現(xiàn)自動定時(shí)采集。章魚捕手作為一款功能強(qiáng)大的數(shù)據(jù)采集工具，可以幫助用戶快速采集互聯(lián)網(wǎng)上的各類數(shù)據(jù)

Big 數(shù)據(jù)主的作用數(shù)據(jù)不可忽視_ 數(shù)據(jù)分析師考試當(dāng)越來越多的企業(yè)采用Big 數(shù)據(jù)技術(shù)、云計(jì)算和社交媒體來發(fā)現(xiàn)客戶需求和拓展業(yè)務(wù)時(shí)，他們需要Master數(shù)據(jù)Management(MDM)來順應(yīng)這些趨勢并從-0中提取更多的商業(yè)價(jià)值有效的master 數(shù)據(jù)管理不僅可以提高企業(yè)的數(shù)據(jù)質(zhì)量，還可以與大數(shù)據(jù)技術(shù)緊密結(jié)合。

需要注意的是，主數(shù)據(jù)并不是企業(yè)內(nèi)的所有業(yè)務(wù)數(shù)據(jù)，而是需要在各個(gè)系統(tǒng)之間共享的主數(shù)據(jù)。比如大部分交易數(shù)據(jù)和票據(jù)數(shù)據(jù)都不是主數(shù)據(jù)，涵蓋資源、產(chǎn)品、事件、客戶、財(cái)務(wù)、賬戶、員工、合作伙伴等。，用于描述核心業(yè)務(wù)實(shí)體的數(shù)據(jù)是main 數(shù)據(jù)，所以，識別master 數(shù)據(jù)要抓住master 數(shù)據(jù)的本質(zhì)，作為商業(yè)運(yùn)作的核心。