第三，風(fēng)暴。Storm是一個(gè)免費(fèi)的開(kāi)源軟件，一個(gè)分布式和容錯(cuò)的實(shí)時(shí)計(jì)算系統(tǒng)。Storm可以非?？煽康靥幚砭薮蟮臄?shù)據(jù) stream，用于處理Hadoop 數(shù)據(jù)的批處理。Storm支持許多編程語(yǔ)言，使用起來(lái)非常有趣。Storm來(lái)自Twitter開(kāi)源。第四，ApacheDrill。

1。為什么要建數(shù)據(jù) 平臺(tái)業(yè)務(wù)運(yùn)行良好，系統(tǒng)運(yùn)行穩(wěn)定。你為什么要建企業(yè)的數(shù)據(jù) 平臺(tái)？這樣的問(wèn)題就在腦子里想想，不要大聲問(wèn)出來(lái)。我直接回答，公司一般在什么情況下需要設(shè)立數(shù)據(jù) 平臺(tái)重新設(shè)立各種數(shù)據(jù) 架構(gòu)。從商業(yè)角度來(lái)看:1。業(yè)務(wù)系統(tǒng)太多，彼此的數(shù)據(jù)沒(méi)有連接。這種情況下，分析數(shù)據(jù)，比較麻煩，分析師可能需要從多個(gè)系統(tǒng)中提取數(shù)據(jù)，然后整合數(shù)據(jù)，再進(jìn)行分析。

如何控制人工積分的高錯(cuò)誤率？分析不及時(shí)，效率低。你想處理嗎？從系統(tǒng)角度看:2。業(yè)務(wù)系統(tǒng)壓力很大，但很遺憾，數(shù)據(jù)分析是一項(xiàng)耗費(fèi)資源的工作。那么你自然會(huì)想到，通過(guò)抽取數(shù)據(jù)，一個(gè)獨(dú)立的服務(wù)器來(lái)處理數(shù)據(jù)的查詢和分析任務(wù)，來(lái)釋放業(yè)務(wù)系統(tǒng)的壓力。3.性能問(wèn)題可以越來(lái)越大，同樣的數(shù)據(jù)也會(huì)越來(lái)越大?？赡苁菤v史的積累數(shù)據(jù)，也可能是新增內(nèi)容數(shù)據(jù)，當(dāng)原數(shù)據(jù) 平臺(tái)無(wú)法承受更大的處理量時(shí)，或者

我是技術(shù)人員數(shù)據(jù)，可以和題主分享一些經(jīng)驗(yàn):其實(shí)題主需要明確以下幾個(gè)問(wèn)題，問(wèn)題的答案其實(shí)是有的:1。我想從個(gè)人學(xué)習(xí)成長(zhǎng)的角度來(lái)構(gòu)建平臺(tái)自學(xué)？還是現(xiàn)在的公司需要big 數(shù)據(jù)技術(shù)進(jìn)行分析？從個(gè)人學(xué)習(xí)成長(zhǎng)的角度，建議根據(jù)Hadoop或者Spark的官網(wǎng)教程直接安裝，建議看官網(wǎng)(英文)。在“Big-3”這個(gè)技術(shù)領(lǐng)域，掌握英語(yǔ)是非常重要的，因?yàn)樗婕暗浇M件選型、未來(lái)的安裝、部署和運(yùn)維，所有的任務(wù)操作信息和錯(cuò)誤信息都是英文的，包括遇到問(wèn)題的回答，所以還是非常重要的。

要解決什么業(yè)務(wù)問(wèn)題？需要什么樣的分析？數(shù)據(jù)數(shù)量是多少？是否需要實(shí)時(shí)分析？對(duì)BI報(bào)告有需求嗎？下面是一個(gè)典型的場(chǎng)景:公司用Oracle或MySQL搭建業(yè)務(wù)數(shù)據(jù)庫(kù)，有簡(jiǎn)單的數(shù)據(jù)分析，也可能是購(gòu)買了BI系統(tǒng)，業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫(kù)直接支持，現(xiàn)在用-

一直想整理一下這段內(nèi)容。既然是漫談，想到什么就說(shuō)什么。比如我一直在互聯(lián)網(wǎng)行業(yè)。先簡(jiǎn)單列出互聯(lián)網(wǎng)行業(yè)的目的數(shù)據(jù)warehouse數(shù)據(jù)平臺(tái):整合公司所有業(yè)務(wù)數(shù)據(jù)建立統(tǒng)一的數(shù)據(jù)中心；提供各種報(bào)表，有的給高管，有的給各種業(yè)務(wù)；為網(wǎng)站運(yùn)營(yíng)提供運(yùn)營(yíng)支持?jǐn)?shù)據(jù)是指通過(guò)數(shù)據(jù)，運(yùn)營(yíng)人員可以及時(shí)了解網(wǎng)站和產(chǎn)品的運(yùn)營(yíng)效果；為各種業(yè)務(wù)提供線上或線下數(shù)據(jù)支持并成為公司的統(tǒng)一數(shù)據(jù)交換和提供平臺(tái)分析用戶行為數(shù)據(jù)，通過(guò)數(shù)據(jù)挖掘降低投入成本，提高投入效果；比如定向精準(zhǔn)廣告，用戶個(gè)性化推薦等。；開(kāi)發(fā)數(shù)據(jù)產(chǎn)品，直接或間接為公司盈利；建設(shè)開(kāi)放數(shù)據(jù) 平臺(tái)，開(kāi)放公司數(shù)據(jù)；。