我們處在一個科技飛速發(fā)展的時代，現(xiàn)在互聯(lián)網與我們的生活息息相關。我們每天在網上產生大量的數(shù)據(jù)。這些數(shù)據(jù)散落在網上，看似作用不大，但這些數(shù)據(jù)經過系統(tǒng)加工整合后，確實很有價值。1.大開發(fā)數(shù)據(jù)技術可以提高生產力數(shù)據(jù)技術已經成為企業(yè)中非常成功的案例，很多應用開發(fā)者和大公司都在使用大數(shù)據(jù)技術擴展數(shù)據(jù)項目。

目前很多企業(yè)通過數(shù)據(jù)挖掘分析來解決問題。相對而言，大數(shù)據(jù)分析比傳統(tǒng)的數(shù)據(jù)分析速度更快，可以獲得“可回收”的信息流，提高行業(yè)生產率。第二，數(shù)據(jù)技術的發(fā)展可以改善營銷決策。近年來，數(shù)據(jù)成交量劇增，數(shù)據(jù)利潤很可能成為未來收入的主要來源，數(shù)據(jù)技術大量出現(xiàn)。

1。分布式存儲傳統(tǒng)集中式存儲已經存在一段時間了。但是大數(shù)據(jù)并不真正適合集中式存儲架構。Hadoop旨在讓計算更接近數(shù)據(jù) node，同時也采用了HDFS文件系統(tǒng)的大規(guī)模水平擴展功能。雖然，通常解決Hadoop管理本身效率低下的方法數(shù)據(jù)是把Hadoop-1存儲放在SAN上。但也造成了自身性能和規(guī)模的瓶頸?，F(xiàn)在如果通過集中式的SAN處理器處理所有數(shù)據(jù)，與Hadoop的分布式、并行特性相悖。

但是Hadoop是一個分布式應用，所以要在分布式存儲上運行，所以存儲保留了和Hadoop本身一樣的靈活性，但是也需要擁抱一個軟件定義存儲 scheme，在商業(yè)服務器上運行，自然比瓶頸Hadoop更高效。2.超收斂VS分布式注意，不要混淆超收斂和分布式。有些超收斂方案是分布式的存儲，但通常這個術語是指你的應用和存儲存儲在同一個計算節(jié)點上。

Hadoop是一個開源的分布式計算平臺，提供了搭建平臺的方法。這個平臺由標準化的硬件(服務器和內部服務器存儲)組成，形成一個可以并行處理大型數(shù)據(jù)請求的集群。在存儲方面，這個開源項目的關鍵組件是Hadoop分布式文件系統(tǒng)(HDFS ),它具有跨集群中多個成員的能力存儲非常大的文件。HDFS通過創(chuàng)建數(shù)據(jù) block的多個副本，然后將它們分發(fā)到整個集群中的計算機節(jié)點，提供了方便、可靠和極快的計算能力。

1，HDFS 1的基本特征和建筑?；咎攸c(1)規(guī)模大數(shù)據(jù)分布式存儲容量:分布式存儲容量和良好的可擴展性，(基于分布式節(jié)點上的大量本地文件系統(tǒng)，在邏輯上構建一個容量巨大的分布式文件系統(tǒng)，整個文件系統(tǒng)的容量可以隨著集群中節(jié)點的增加而線性擴展)(2)高并發(fā)訪問能力:提供高數(shù)據(jù)寬帶訪問(高數(shù)據(jù)吞吐量)，帶寬可以等比例擴展到集群中的所有節(jié)點。(3)容錯性強:(設計理念上把硬件故障視為常態(tài))保證在節(jié)點硬件故障頻繁的情況下，能夠正確檢測到硬件故障，并能自動快速從故障中恢復，確保數(shù)據(jù)不丟失(以多個副本數(shù)據(jù)block存儲)4)順序文件訪問:(大數(shù)據(jù)批處理簡單很多-1)支持快速順序讀取大量數(shù)據(jù)以高隨機訪問負載為代價(5)不支持寫入數(shù)據(jù)的更新操作，但允許在文件末尾使用新的數(shù)據(jù)(6)數(shù)據(jù)block存儲pattern:默認塊大小為64MB。