而Hadoop就是為了解決這個(gè)問題而誕生的。其底層的分布式文件系統(tǒng)具有很強(qiáng)的可擴(kuò)展性，通過數(shù)據(jù)冗余保證不會(huì)丟失和提交計(jì)算效率，可以多種格式存儲(chǔ)數(shù)據(jù)同時(shí)，它還支持多種計(jì)算框架，既可用于離線計(jì)算，也可用于在線實(shí)時(shí)計(jì)算。其成本可以控制在較低水平。主要來自硬件成本:Hadoop構(gòu)建在廉價(jià)的硬件服務(wù)器上，不需要非常昂貴的硬件支持；軟件成本:開源產(chǎn)品，免費(fèi)，基于開源協(xié)議，可自由修改，可控性更大；開發(fā)成本相對(duì)較低，屬于二次開發(fā)。

但是因?yàn)椤癉a 數(shù)據(jù)”和“-0/”這兩個(gè)流行詞，很多人即使實(shí)際上并不需要Hadoop，也愿意穿“緊身衣”。第一，如果我的數(shù)據(jù)有幾百兆，Excel可能無法加載它的“非常大數(shù)據(jù)”用于Excel軟件，但其實(shí)還有其他優(yōu)秀的工具可以使用我喜歡的熊貓。Pandas基于Numpy庫(kù)構(gòu)建，可以有效地將數(shù)百兆的數(shù)據(jù)以矢量格式加載到內(nèi)存中。

Matlab和R也是很優(yōu)秀的工具。對(duì)于數(shù)百兆的數(shù)據(jù)，典型的做法是編寫一個(gè)簡(jiǎn)單的Python腳本來逐行讀取文件，對(duì)其進(jìn)行處理并寫入另一個(gè)文件。我的數(shù)據(jù)是10GB怎么辦？新買了一臺(tái)筆記本，內(nèi)存16GB，and 256GB。如果要將一個(gè)10GB的CSV文件加載到Pandas中，實(shí)際上占用的內(nèi)存非常少，結(jié)果保存為一個(gè)數(shù)字字符串，比如" "作為一個(gè)4字節(jié)的整數(shù)或者" "。8字節(jié)雙精度浮點(diǎn)數(shù)形式的字符串。

Da 數(shù)據(jù)Analyze相關(guān)基礎(chǔ)解決方案，它主要包括Hadoop簡(jiǎn)介、Da 數(shù)據(jù)分析概述、Da 數(shù)據(jù)基于MapReduce的處理、Python Hadoop科學(xué)計(jì)算和Da數(shù)據(jù)分析。Apache park批量分析、Apache park實(shí)時(shí)數(shù)據(jù)分析、Apache flick批量分析、Apache flick流處理、大型數(shù)據(jù)可視化技術(shù)、云計(jì)算入門、使用Amazon Web services等。

接下來，我們將討論什么是Hadoop以及如何解決與Hadoop相關(guān)的問題。我們還將研究CERN案例研究，以突出使用Hadoop的好處。在之前的博客“Da 數(shù)據(jù)教程”中，我們已經(jīng)詳細(xì)討論了Da 數(shù)據(jù)和Da 數(shù)據(jù)的挑戰(zhàn)。在這個(gè)博客中，我們將討論:1。傳統(tǒng)方法的問題；2.Hadoop 3的演變；4.Hadoop即用型解決方案；5.什么時(shí)候用Hadoop？

我覺得很有可能。無可替代，只能作為他的補(bǔ)充說。我覺得有一定的可能性。不會(huì)，Spark雖然改進(jìn)了很多MapReduce算法，但其實(shí)是對(duì)Hadoop的補(bǔ)充。不會(huì)，Hadoop生態(tài)很強(qiáng)。Hadoop作為分布式系統(tǒng)架構(gòu)，適用于低成本、大規(guī)模數(shù)據(jù)分析環(huán)境，可以接受數(shù)據(jù)的海量存儲(chǔ)和操作，雖然Spark改進(jìn)了很多地圖。

at scale 2015年的調(diào)查報(bào)告中，“在接下來的三個(gè)月里，超過76%的人使用Hadoop做了更多的工作?！边@些受訪者中約有一半聲稱他們通過在工作中使用Hadoop獲得了一些價(jià)值。Hadoop作為一個(gè)十幾年的老品牌，其產(chǎn)品采用速度并沒有放緩，Spark也沒有真正取代Hadoop?？赵?，我們從以下幾個(gè)方面來分析一下Spark在未來幾年內(nèi)是否真的能取代Hadoop。

large數(shù)據(jù)(bigdata)是指在可承受的時(shí)間范圍內(nèi)，常規(guī)軟件工具無法捕捉、管理和處理的數(shù)據(jù)的集合。有人把數(shù)據(jù)比作一個(gè)有能量的煤礦，煤炭按性質(zhì)分為焦煤、無煙煤、肥煤和瘦煤，而露天煤礦和深山煤礦的采掘成本是不同的。同樣，Da 數(shù)據(jù)不是“Da”而是“有用”，價(jià)值含量和挖掘成本比數(shù)量更重要。對(duì)于很多行業(yè)來說，如何利用這些大規(guī)模數(shù)據(jù)是贏得競(jìng)爭(zhēng)的關(guān)鍵。