分布式文件存儲(chǔ)，有哪l些分布式存儲(chǔ)技術(shù)

來源：整理時(shí)間：2023-08-15 15:25:54 編輯：智能門戶手機(jī)版

本文目錄一覽

1，有哪l些分布式存儲(chǔ)技術(shù)
2，什么是分布式文件系統(tǒng)
3，在net 架構(gòu)中分布式文件存貯怎么理解如果實(shí)現(xiàn)
4，什么是Hadoop分布式文件系統(tǒng)
5，分布式存儲(chǔ)和超融合區(qū)別及優(yōu)勢(shì)
6，什么是分布式文件系統(tǒng)HDFS

1，有哪l些分布式存儲(chǔ)技術(shù)

分布式存儲(chǔ)目前用的比較多的技術(shù)有：HDFS、ceph。Ceph是目前比較火的分布式存儲(chǔ)技術(shù)，很多大公l司都在用，像華為、元核云、阿里。

有哪l些分布式存儲(chǔ)技術(shù)

2，什么是分布式文件系統(tǒng)

Microsoft文件分布系統(tǒng) (Dfs) 是一個(gè)網(wǎng)絡(luò)服務(wù)器組件，它能夠使你更容易地在網(wǎng)絡(luò)上查詢和管理數(shù)據(jù)。分布式文件系統(tǒng)是將分布于不同電腦上的文件組合為單一的名稱空間，并使得在網(wǎng)絡(luò)上建立一個(gè)單一的、層次化多重文件服務(wù)器和服務(wù)器共享的工作更為方便的途徑。詳細(xì)信息： http://www.microsoft.com/china/windows2000/library/howitworks/fileandprint/Dfsnew.mspx

什么是分布式文件系統(tǒng)

3，在net 架構(gòu)中分布式文件存貯怎么理解如果實(shí)現(xiàn)

分布式存貯的優(yōu)勢(shì)： 1. 低成本; 2. 容錯(cuò)性強(qiáng); 3.可以實(shí)現(xiàn)高速訪問; 4.易于管理，有利于降低總體擁有成本; 5.可節(jié)省大量存貯空間; 6.安全性高

何為分布式存貯：與目前大量應(yīng)用的集中式存貯（如文件和數(shù)據(jù)服務(wù)器以及EMC等存貯產(chǎn)品）方式不同，分布式存貯并不把數(shù)據(jù)存貯在企業(yè)中某一個(gè)或多個(gè)特定的節(jié)點(diǎn)上，而是通過網(wǎng)絡(luò)使用企業(yè)中每臺(tái)機(jī)器（可以是桌面PC也可以是服務(wù)器）上的磁盤存貯空間，并把這些分布的存貯資源構(gòu)成一個(gè)虛擬的存貯設(shè)備，數(shù)據(jù)分散地存貯在企業(yè)的各個(gè)角落。

法術(shù) 低成本; 2. 容錯(cuò)性強(qiáng); 3.可以實(shí)現(xiàn)高速訪問; 4.易于管理，有利于降低總體擁有成本; 5.可節(jié)省大量存貯空間; 6.安全性高

在net 架構(gòu)中分布式文件存貯怎么理解如果實(shí)現(xiàn)

4，什么是Hadoop分布式文件系統(tǒng)

分布式文件系統(tǒng)（Distributed File System）是指文件系統(tǒng)管理的物理存儲(chǔ)資源不一定直接連接在本地節(jié)點(diǎn)上，而是通過計(jì)算機(jī)網(wǎng)絡(luò)與節(jié)點(diǎn)相連。Hadoop是Apache軟件基金會(huì)所研發(fā)的開放源碼并行運(yùn)算編程工具和分散式檔案系統(tǒng)，與MapReduce和Google檔案系統(tǒng)的概念類似。HDFS（Hadoop 分布式文件系統(tǒng)）是其中的一部分。

一個(gè)分布式系統(tǒng)基礎(chǔ)架構(gòu)，由Apache基金會(huì)開發(fā)。用戶可以在不了解分布式底層細(xì)節(jié)的情況下，開發(fā)分布式程序。充分利用集群的威力高速運(yùn)算和存儲(chǔ)。Hadoop實(shí)現(xiàn)了一個(gè)分布式文件系統(tǒng)（Hadoop Distributed File System），簡(jiǎn)稱HDFS。HDFS有著高容錯(cuò)性的特點(diǎn)，并且設(shè)計(jì)用來部署在低廉的（low-cost）硬件上。而且它提供高傳輸率（high throughput）來訪問應(yīng)用程序的數(shù)據(jù)，適合那些有著超大數(shù)據(jù)集（large data set）的應(yīng)用程序。HDFS放寬了（relax）POSIX的要求（requirements）這樣可以流的形式訪問（streaming access）文件系統(tǒng)中的數(shù)據(jù)。

一臺(tái)一臺(tái)的電腦上你都裝好了hadoop，每臺(tái)電腦有相同的用戶名，密碼。然后其中一臺(tái)電腦作為master其余電腦作為slave（這個(gè)要在安裝hadoop后進(jìn)行配置）。在master這臺(tái)電腦上啟動(dòng)hadoop，其余的電腦也就都跟著啟動(dòng)了。這樣當(dāng)你把文件導(dǎo)入到hadoop的時(shí)候，這個(gè)文件是分布的存儲(chǔ)在你的這些hadoop電腦上的，至于怎么存，存在哪幾臺(tái)電腦，我們是不需要關(guān)心的，會(huì)自動(dòng)給我們處理。這就是所謂的hadoop分布式文件系統(tǒng)。希望能幫到你~~~:)

Hdfs分布式文件系統(tǒng) 就是hadoop開源云平臺(tái)中的文件系統(tǒng)，是其最關(guān)鍵的技術(shù) 解決文件分塊存儲(chǔ)、索引等

5，分布式存儲(chǔ)和超融合區(qū)別及優(yōu)勢(shì)

超融合是指計(jì)算、存儲(chǔ)和網(wǎng)絡(luò)的融合。計(jì)算一般是指虛擬化，存儲(chǔ)一般是指分布式存儲(chǔ)，網(wǎng)絡(luò)一般是指sdn。分布式存儲(chǔ)不一定是分布式文件系統(tǒng)，也可能是分布式塊存儲(chǔ)。在超融合場(chǎng)景下，“用戶看到的”一般是指分布式塊存儲(chǔ)——即為每個(gè)計(jì)算單位（虛擬機(jī)）提供虛擬硬盤（塊設(shè)備）的分布式存儲(chǔ)。當(dāng)客戶的it預(yù)算有限，it能力有限時(shí)，會(huì)傾向于超融合，因?yàn)橘I一套東西解決了所有的問題。然而，當(dāng)客戶的it環(huán)境變大變復(fù)雜的時(shí)候，超融合的服務(wù)要求就體現(xiàn)出來了，例如神州云科在拓展超融合業(yè)務(wù)時(shí)，采用首先提供用戶測(cè)試機(jī)的方式，一方面幫助用戶了解在不同的需求和應(yīng)用環(huán)境下，需要怎樣的方案配合，才能實(shí)現(xiàn)用戶利益的最大化。另一方面，也通過實(shí)際使用場(chǎng)景的測(cè)試，神州云科的售前工程師與用戶一起，共同設(shè)計(jì)一個(gè)更智能、更友好，更具擴(kuò)展性，性價(jià)比更高的超融合方案。為此，神州云科提出了服務(wù)"三個(gè)一流"的承諾，"一流技術(shù)能力、一流響應(yīng)時(shí)間、一流服務(wù)態(tài)度"，所以，神州云科能順利進(jìn)入金融、醫(yī)療、教育、制造、安防等多個(gè)超融合應(yīng)用領(lǐng)域

超融合的概念主要體現(xiàn)在超融合一體機(jī)，超融合一體機(jī)是將計(jì)算，存儲(chǔ)結(jié)合，通過軟件定義的形式將它們打通，再集中在一臺(tái)機(jī)器中向客戶提供服務(wù)。超融合更適合業(yè)務(wù)量不大空間有限的中小型企業(yè)，少量超融合一體機(jī)就可以提供給中小型企業(yè)足夠的網(wǎng)絡(luò)，計(jì)算，存儲(chǔ)等服務(wù)。但當(dāng)隨著企業(yè)業(yè)務(wù)發(fā)展，計(jì)算、網(wǎng)絡(luò)、存儲(chǔ)消耗占比發(fā)生較大偏移時(shí)，企業(yè)對(duì)存儲(chǔ)、計(jì)算中某一項(xiàng)有更多的遠(yuǎn)超于其原有超融合一體機(jī)提供的服務(wù)需求時(shí)，再進(jìn)行超融合一體機(jī)購買就會(huì)造成超融合一體機(jī)內(nèi)其他資源的浪費(fèi)。這就不得不另行購買獨(dú)立的分布式存儲(chǔ)來解決存儲(chǔ)的問題，或獨(dú)立的機(jī)器解決計(jì)算的需求。但某些超融合一體機(jī)不支持另行購買的分布式存儲(chǔ)系統(tǒng)，使企業(yè)資源矛盾更為嚴(yán)重。同時(shí)超融合一體機(jī)的廠商，因?yàn)橐骖欁龃鎯?chǔ)以及計(jì)算多項(xiàng)服務(wù)，所以存儲(chǔ)產(chǎn)品的專業(yè)性及可靠性上會(huì)與專業(yè)做存儲(chǔ)的公司的存儲(chǔ)產(chǎn)品有一定差距。所以隨著企業(yè)的發(fā)展，從超融合架構(gòu)走向非超融合的架構(gòu)是必然的趨勢(shì)。

6，什么是分布式文件系統(tǒng)HDFS

HDFS是基于流數(shù)據(jù)模式訪問和處理超大文件的需求而開發(fā)的，它可以運(yùn)行于廉價(jià)的商用服務(wù)器上?？偟膩碚f，可以將 HDFS的主要特點(diǎn)概括為以下幾點(diǎn)：（1 ）處理超大文件這里的超大文件通常是指數(shù)百 MB、甚至數(shù)百TB 大小的文件。目前在實(shí)際應(yīng)用中， HDFS已經(jīng)能用來存儲(chǔ)管理PB(PeteBytes)級(jí)的數(shù)據(jù)了。在 Yahoo！，Hadoop 集群也已經(jīng)擴(kuò)展到了 4000個(gè)節(jié)點(diǎn)。（2 ）流式地訪問數(shù)據(jù)HDFS的設(shè)計(jì)建立在更多地響應(yīng)“一次寫入，多次讀取”任務(wù)的基礎(chǔ)之上。這意味著一個(gè)數(shù)據(jù)集一旦由數(shù)據(jù)源生成，就會(huì)被復(fù)制分發(fā)到不同的存儲(chǔ)節(jié)點(diǎn)中，然后響應(yīng)各種各樣的數(shù)據(jù)分析任務(wù)請(qǐng)求。在多數(shù)情況下，分析任務(wù)都會(huì)涉及數(shù)據(jù)集中的大部分?jǐn)?shù)據(jù)，也就是說，對(duì)HDFS 來說，請(qǐng)求讀取整個(gè)數(shù)據(jù)集要比讀取一條記錄更加高效。（3 ）運(yùn)行于廉價(jià)的商用機(jī)器集群上Hadoop設(shè)計(jì)對(duì)硬件需求比較低，只須運(yùn)行在廉價(jià)的商用硬件集群上，而無須昂貴的高可用性機(jī)器上。廉價(jià)的商用機(jī)也就意味著大型集群中出現(xiàn)節(jié)點(diǎn)故障情況的概率非常高。這就要求在設(shè)計(jì) HDFS時(shí)要充分考慮數(shù)據(jù)的可靠性、安全性及高可用性。正是由于以上的種種考慮，我們會(huì)發(fā)現(xiàn)現(xiàn)在的 HDFS在處理一些特定問題時(shí)不但沒有優(yōu)勢(shì)，而且有一定的局限性，主要表現(xiàn)在以下幾個(gè)方面。（1 ）不適合低延遲數(shù)據(jù)訪問如果要處理一些用戶要求時(shí)間比較短的低延遲應(yīng)用請(qǐng)求，則 HDFS不適合。HDFS 是為了處理大型數(shù)據(jù)集分析任務(wù)的，主要是為達(dá)到高的數(shù)據(jù)吞吐量而設(shè)計(jì)的，這就可能要求以高延遲作為代價(jià)。目前有一些補(bǔ)充的方案，比如使用HBase，通過上層數(shù)據(jù)管理項(xiàng)目來盡可能地彌補(bǔ)這個(gè)不足。（2 ）無法高效存儲(chǔ)大量小文件在Hadoop 中需要用 NameNode來管理文件系統(tǒng)的元數(shù)據(jù)，以響應(yīng)客戶端請(qǐng)求返回文件位置等，因此文件數(shù)量大小的限制要由 NameNode來決定。例如，每個(gè)文件、索引目錄及塊大約占 100字節(jié)，如果有100 萬個(gè)文件，每個(gè)文件占一個(gè)塊，那么至少要消耗 200MB內(nèi)存，這似乎還可以接受。但如果有更多文件，那么 NameNode的工作壓力更大，檢索處理元數(shù)據(jù)的時(shí)間就不可接受了。（3 ）不支持多用戶寫入及任意修改文件在HDFS 的一個(gè)文件中只有一個(gè)寫入者，而且寫操作只能在文件末尾完成，即只能執(zhí)行追加操作。目前 HDFS還不支持多個(gè)用戶對(duì)同一文件的寫操作，以及在文件任意位置進(jìn)行修改。

microsoft文件分布系統(tǒng) (dfs) 是一個(gè)網(wǎng)絡(luò)服務(wù)器組件，它能夠使你更容易地在網(wǎng)絡(luò)上查詢和管理數(shù)據(jù)。分布式文件系統(tǒng)是將分布于不同電腦上的文件組合為單一的名稱空間，并使得在網(wǎng)絡(luò)上建立一個(gè)單一的、層次化多重文件服務(wù)器和服務(wù)器共享的工作更為方便的途徑。詳細(xì)信息：http://www.microsoft.com/china/windows2000/library/howitworks/fileandprint/dfsnew.mspx