亚洲AV无码成人精品国产网站,国产亚洲欧洲精品,春色WWW视频网站

1，dfs是什么

分布式文件

分布式文件系統(tǒng)

dfs是什么

2，什么是分布式文件系統(tǒng)

Microsoft文件分布系統(tǒng) (Dfs) 是一個(gè)網(wǎng)絡(luò)服務(wù)器組件，它能夠使你更容易地在網(wǎng)絡(luò)上查詢和管理數(shù)據(jù)。分布式文件系統(tǒng)是將分布于不同電腦上的文件組合為單一的名稱空間，并使得在網(wǎng)絡(luò)上建立一個(gè)單一的、層次化多重文件服務(wù)器和服務(wù)器共享的工作更為方便的途徑。詳細(xì)信息： http://www.microsoft.com/china/windows2000/library/howitworks/fileandprint/Dfsnew.mspx

什么是分布式文件系統(tǒng)

3，什么是Hadoop分布式文件系統(tǒng)

分布式文件系統(tǒng)（Distributed File System）是指文件系統(tǒng)管理的物理存儲(chǔ)資源不一定直接連接在本地節(jié)點(diǎn)上，而是通過(guò)計(jì)算機(jī)網(wǎng)絡(luò)與節(jié)點(diǎn)相連。Hadoop是Apache軟件基金會(huì)所研發(fā)的開放源碼并行運(yùn)算編程工具和分散式檔案系統(tǒng)，與MapReduce和Google檔案系統(tǒng)的概念類似。HDFS（Hadoop 分布式文件系統(tǒng)）是其中的一部分。

一個(gè)分布式系統(tǒng)基礎(chǔ)架構(gòu)，由Apache基金會(huì)開發(fā)。用戶可以在不了解分布式底層細(xì)節(jié)的情況下，開發(fā)分布式程序。充分利用集群的威力高速運(yùn)算和存儲(chǔ)。Hadoop實(shí)現(xiàn)了一個(gè)分布式文件系統(tǒng)（Hadoop Distributed File System），簡(jiǎn)稱HDFS。HDFS有著高容錯(cuò)性的特點(diǎn)，并且設(shè)計(jì)用來(lái)部署在低廉的（low-cost）硬件上。而且它提供高傳輸率（high throughput）來(lái)訪問應(yīng)用程序的數(shù)據(jù)，適合那些有著超大數(shù)據(jù)集（large data set）的應(yīng)用程序。HDFS放寬了（relax）POSIX的要求（requirements）這樣可以流的形式訪問（streaming access）文件系統(tǒng)中的數(shù)據(jù)。

一臺(tái)一臺(tái)的電腦上你都裝好了hadoop，每臺(tái)電腦有相同的用戶名，密碼。然后其中一臺(tái)電腦作為master其余電腦作為slave（這個(gè)要在安裝hadoop后進(jìn)行配置）。在master這臺(tái)電腦上啟動(dòng)hadoop，其余的電腦也就都跟著啟動(dòng)了。這樣當(dāng)你把文件導(dǎo)入到hadoop的時(shí)候，這個(gè)文件是分布的存儲(chǔ)在你的這些hadoop電腦上的，至于怎么存，存在哪幾臺(tái)電腦，我們是不需要關(guān)心的，會(huì)自動(dòng)給我們處理。這就是所謂的hadoop分布式文件系統(tǒng)。希望能幫到你~~~:)

Hdfs分布式文件系統(tǒng) 就是hadoop開源云平臺(tái)中的文件系統(tǒng)，是其最關(guān)鍵的技術(shù) 解決文件分塊存儲(chǔ)、索引等

什么是Hadoop分布式文件系統(tǒng)

4，什么是DFS分布式文件系統(tǒng)以及DFS的優(yōu)點(diǎn)

通過(guò) DFS（分布式文件系統(tǒng)），一臺(tái)服務(wù)器上的某個(gè)共享點(diǎn)能夠作為駐留在其他服務(wù)器上的共享資源的宿主。DFS 以透明方式鏈接文件服務(wù)器和共享文件夾，然后將其映射到單個(gè)層次結(jié)構(gòu)，以便可以從一個(gè)位置對(duì)其進(jìn)行訪問，而實(shí)際上數(shù)據(jù)卻分布在不同的位置。用戶不必再轉(zhuǎn)至網(wǎng)絡(luò)上的多個(gè)位置以查找所需的信息，而只需連接到： \\DfsServer\Dfsroot 用戶在訪問此共享中的文件夾時(shí)將被重定向到包含共享資源的網(wǎng)絡(luò)位置。這樣，用戶只需知道 DFS 根目錄共享即可訪問整個(gè)企業(yè)的共享資源。 DFS 拓?fù)鋸?DFS 樹的根目錄開始。位于邏輯層次結(jié)構(gòu)頂部的 DFS 根目錄映射到一個(gè)物理共享。DFS 鏈接將域名系統(tǒng) (DNS) 名稱映射到目標(biāo)共享文件夾或目標(biāo) DFS 根目錄的 UNC 名稱。當(dāng) DFS 客戶端訪問 DFS 共享文件夾時(shí)，DFS 服務(wù)器將 DNS 名稱映射到 UNC 名稱并將引用返回給該客戶端，以使它能夠找到共享文件夾。將 DNS 名稱映射到 UNC 名稱使數(shù)據(jù)的物理位置對(duì)用戶是透明的，這樣用戶便無(wú)須記住存儲(chǔ)文件夾的服務(wù)器。當(dāng) DFS 客戶端請(qǐng)求 DFS 共享的引用時(shí)，DFS 服務(wù)器將使用分區(qū)情況表 (PKT) 將 DFS 客戶端定向到物理共享。對(duì)于基于域的 DFS，PKT 存儲(chǔ)在 Active Directory 中；對(duì)于獨(dú)立的 DFS，PKT 存儲(chǔ)在注冊(cè)表中。在網(wǎng)絡(luò)環(huán)境中，PKT 維護(hù)有關(guān) DFS 拓?fù)涞乃行畔?，包括其到基礎(chǔ)物理共享的映射。DFS 服務(wù)器將 DFS 客戶端定向到與請(qǐng)求的 DFS 鏈接相對(duì)應(yīng)的副本共享列表后，DFS 客戶端使用 Active Directory 站點(diǎn)拓?fù)溥B接到同一站點(diǎn)中的一個(gè)副本，如果該站點(diǎn)中沒有提供副本，則連接到該站點(diǎn)以外的一個(gè)副本。分布式軟件系統(tǒng)(Distributed Software Systems)是支持分布式處理的軟件系統(tǒng),是在由通信網(wǎng)絡(luò)互聯(lián)的多處理機(jī)體系結(jié)構(gòu)上執(zhí)行任務(wù)的系統(tǒng)。它包括分布式操作系統(tǒng)、分布式程序設(shè)計(jì)語(yǔ)言及其編譯(解釋)系統(tǒng)、分布式文件系統(tǒng)和分布式數(shù)據(jù)庫(kù)系統(tǒng)等。分布式操作系統(tǒng)負(fù)責(zé)管理分布式處理系統(tǒng)資源和控分布式系統(tǒng)的類型，大致可以歸為三類： 1、分布式數(shù)據(jù)，但只有一個(gè)總? 據(jù)庫(kù)，沒有局部數(shù)據(jù)庫(kù)。 2、分層式處理，每一層都有自己的數(shù)據(jù)庫(kù)。 3、充分分散的分布式網(wǎng)絡(luò)，沒有中央控制部分，各節(jié)點(diǎn)之間的聯(lián)接方式又可以有多種，如松散的聯(lián)接，緊密的聯(lián)接，動(dòng)態(tài)的聯(lián)接，廣播通知式聯(lián)接等。

5，什么是分布式文件系統(tǒng)HDFS

HDFS是基于流數(shù)據(jù)模式訪問和處理超大文件的需求而開發(fā)的，它可以運(yùn)行于廉價(jià)的商用服務(wù)器上?？偟膩?lái)說(shuō)，可以將 HDFS的主要特點(diǎn)概括為以下幾點(diǎn)：（1 ）處理超大文件這里的超大文件通常是指數(shù)百 MB、甚至數(shù)百TB 大小的文件。目前在實(shí)際應(yīng)用中， HDFS已經(jīng)能用來(lái)存儲(chǔ)管理PB(PeteBytes)級(jí)的數(shù)據(jù)了。在 Yahoo！，Hadoop 集群也已經(jīng)擴(kuò)展到了 4000個(gè)節(jié)點(diǎn)。（2 ）流式地訪問數(shù)據(jù)HDFS的設(shè)計(jì)建立在更多地響應(yīng)“一次寫入，多次讀取”任務(wù)的基礎(chǔ)之上。這意味著一個(gè)數(shù)據(jù)集一旦由數(shù)據(jù)源生成，就會(huì)被復(fù)制分發(fā)到不同的存儲(chǔ)節(jié)點(diǎn)中，然后響應(yīng)各種各樣的數(shù)據(jù)分析任務(wù)請(qǐng)求。在多數(shù)情況下，分析任務(wù)都會(huì)涉及數(shù)據(jù)集中的大部分?jǐn)?shù)據(jù)，也就是說(shuō)，對(duì)HDFS 來(lái)說(shuō)，請(qǐng)求讀取整個(gè)數(shù)據(jù)集要比讀取一條記錄更加高效。（3 ）運(yùn)行于廉價(jià)的商用機(jī)器集群上Hadoop設(shè)計(jì)對(duì)硬件需求比較低，只須運(yùn)行在廉價(jià)的商用硬件集群上，而無(wú)須昂貴的高可用性機(jī)器上。廉價(jià)的商用機(jī)也就意味著大型集群中出現(xiàn)節(jié)點(diǎn)故障情況的概率非常高。這就要求在設(shè)計(jì) HDFS時(shí)要充分考慮數(shù)據(jù)的可靠性、安全性及高可用性。正是由于以上的種種考慮，我們會(huì)發(fā)現(xiàn)現(xiàn)在的 HDFS在處理一些特定問題時(shí)不但沒有優(yōu)勢(shì)，而且有一定的局限性，主要表現(xiàn)在以下幾個(gè)方面。（1 ）不適合低延遲數(shù)據(jù)訪問如果要處理一些用戶要求時(shí)間比較短的低延遲應(yīng)用請(qǐng)求，則 HDFS不適合。HDFS 是為了處理大型數(shù)據(jù)集分析任務(wù)的，主要是為達(dá)到高的數(shù)據(jù)吞吐量而設(shè)計(jì)的，這就可能要求以高延遲作為代價(jià)。目前有一些補(bǔ)充的方案，比如使用HBase，通過(guò)上層數(shù)據(jù)管理項(xiàng)目來(lái)盡可能地彌補(bǔ)這個(gè)不足。（2 ）無(wú)法高效存儲(chǔ)大量小文件在Hadoop 中需要用 NameNode來(lái)管理文件系統(tǒng)的元數(shù)據(jù)，以響應(yīng)客戶端請(qǐng)求返回文件位置等，因此文件數(shù)量大小的限制要由 NameNode來(lái)決定。例如，每個(gè)文件、索引目錄及塊大約占 100字節(jié)，如果有100 萬(wàn)個(gè)文件，每個(gè)文件占一個(gè)塊，那么至少要消耗 200MB內(nèi)存，這似乎還可以接受。但如果有更多文件，那么 NameNode的工作壓力更大，檢索處理元數(shù)據(jù)的時(shí)間就不可接受了。（3 ）不支持多用戶寫入及任意修改文件在HDFS 的一個(gè)文件中只有一個(gè)寫入者，而且寫操作只能在文件末尾完成，即只能執(zhí)行追加操作。目前 HDFS還不支持多個(gè)用戶對(duì)同一文件的寫操作，以及在文件任意位置進(jìn)行修改。

microsoft文件分布系統(tǒng) (dfs) 是一個(gè)網(wǎng)絡(luò)服務(wù)器組件，它能夠使你更容易地在網(wǎng)絡(luò)上查詢和管理數(shù)據(jù)。分布式文件系統(tǒng)是將分布于不同電腦上的文件組合為單一的名稱空間，并使得在網(wǎng)絡(luò)上建立一個(gè)單一的、層次化多重文件服務(wù)器和服務(wù)器共享的工作更為方便的途徑。詳細(xì)信息：http://www.microsoft.com/china/windows2000/library/howitworks/fileandprint/dfsnew.mspx

6，分布式文件系統(tǒng)的系統(tǒng)分類

(DFS) 是AFS的一個(gè)版本，作為開放軟件基金會(huì)(OSF)的分布式計(jì)算環(huán)境(DCE)中的文件系統(tǒng)部分。如果文件的訪問僅限于一個(gè)用戶，那么分布式文件系統(tǒng)就很容易實(shí)現(xiàn)?？上У氖牵谠S多網(wǎng)絡(luò)環(huán)境中這種限制是不現(xiàn)實(shí)的，必須采取并發(fā)控制來(lái)實(shí)現(xiàn)文件的多用戶訪問，表現(xiàn)為如下幾個(gè)形式：只讀共享任何客戶機(jī)只能訪問文件，而不能修改它，這實(shí)現(xiàn)起來(lái)很簡(jiǎn)單。受控寫操作采用這種方法，可有多個(gè)用戶打開一個(gè)文件，但只有一個(gè)用戶進(jìn)行寫修改。而該用戶所作的修改并不一定出現(xiàn)在其它已打開此文件的用戶的屏幕上。并發(fā)寫操作這種方法允許多個(gè)用戶同時(shí)讀寫一個(gè)文件。但這需要操作系統(tǒng)作大量的監(jiān)控工作以防止文件重寫，并保證用戶能夠看到最新信息。這種方法即使實(shí)現(xiàn)得很好，許多環(huán)境中的處理要求和網(wǎng)絡(luò)通信量也可能使它變得不可接受。NFS和AFS的區(qū)別NFS和AFS的區(qū)別在于對(duì)并發(fā)寫操作的處理方法上。當(dāng)一個(gè)客戶機(jī)向服務(wù)器請(qǐng)求一個(gè)文件(或數(shù)據(jù)庫(kù)記錄)，文件被放在客戶工作站的高速緩存中，若另一個(gè)用戶也請(qǐng)求同一文件，則它也會(huì)被放入那個(gè)客戶工作站的高速緩存中。當(dāng)兩個(gè)客戶都對(duì)文件進(jìn)行修改時(shí)，從技術(shù)上而言就存在著該文件的三個(gè)版本(每個(gè)客戶機(jī)一個(gè)，再加上服務(wù)器上的一個(gè))。有兩種方法可以在這些版本之間保持同步：無(wú)狀態(tài)系統(tǒng) 在這個(gè)系統(tǒng)中，服務(wù)器并不保存其客戶機(jī)正在緩存的文件的信息。因此，客戶機(jī)必須協(xié)同服務(wù)器定期檢查是否有其他客戶改變了自己正在緩存的文件。這種方法在大的環(huán)境中會(huì)產(chǎn)生額外的LAN通信開銷，但對(duì)小型LAN來(lái)說(shuō)，這是一種令人滿意的方法。NFS就是個(gè)無(wú)狀態(tài)系統(tǒng)?；睾?Callback)系統(tǒng) 在這種方法中，服務(wù)器記錄它的那些客戶機(jī)的所作所為，并保留它們正在緩存的文件信息。服務(wù)器在一個(gè)客戶機(jī)改變了一個(gè)文件時(shí)使用一種叫回叫應(yīng)答(callbackpromise)的技術(shù)通知其它客戶機(jī)。這種方法減少了大量網(wǎng)絡(luò)通信。AFS(及OSFDCE的DFS)就是回叫系統(tǒng)?？蛻魴C(jī)改變文件時(shí)，持有這些文件拷貝的其它客戶機(jī)就被回叫并通知這些改變。無(wú)狀態(tài)操作在運(yùn)行性能上有其長(zhǎng)處，但AFS通過(guò)保證不會(huì)被回叫應(yīng)答充斥也達(dá)到了這一點(diǎn)。方法是在一定時(shí)間后取消回叫。客戶機(jī)檢查回叫應(yīng)答中的時(shí)間期限以保證回叫應(yīng)答是當(dāng)前有效的。回叫應(yīng)答的另一個(gè)有趣的特征是向用戶保證了文件的當(dāng)前有效性。換句話說(shuō)，若一個(gè)被緩存的文件有一個(gè)回叫應(yīng)答，則客戶機(jī)就認(rèn)為文件是當(dāng)前有效的，除非服務(wù)器呼叫指出服務(wù)器上的該文件已改變了。 Yonghong Z-Data MartYonghong Data Mart是一款數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)處理的軟件。Yonghong Data Mart采用基于ZDFS的分布式列存儲(chǔ)系統(tǒng)，就是將數(shù)據(jù)分散存儲(chǔ)在多臺(tái)獨(dú)立的設(shè)備上。傳統(tǒng)的網(wǎng)絡(luò)存儲(chǔ)系統(tǒng)采用集中的存儲(chǔ)服務(wù)器存放所有數(shù)據(jù)，存儲(chǔ)服務(wù)器成為系統(tǒng)性能的瓶頸，也是可靠性和安全性的焦點(diǎn)，不能滿足大規(guī)模存儲(chǔ)應(yīng)用的需要。分布式網(wǎng)絡(luò)存儲(chǔ)系統(tǒng)采用可擴(kuò)展的系統(tǒng)結(jié)構(gòu)，利用多臺(tái)存儲(chǔ)服務(wù)器分擔(dān)存儲(chǔ)負(fù)荷，利用位置服務(wù)器定位存儲(chǔ)信息，它不但提高了系統(tǒng)的可靠性、可用性和存取效率，還易于擴(kuò)展。Yonghong Data Mart的分布式文件存儲(chǔ)系統(tǒng) (ZDFS)是在Hadoop HDFS基礎(chǔ)上進(jìn)行的改造和擴(kuò)展，將服務(wù)器集群內(nèi)所有節(jié)點(diǎn)上存儲(chǔ)的文件統(tǒng)一管理和存儲(chǔ)。這些節(jié)點(diǎn)包括唯一的一個(gè)NamingNode，在 ZDFS 內(nèi)部提供元數(shù)據(jù)服務(wù)；許多MapNode，提供存儲(chǔ)塊。存儲(chǔ)在 ZDFS 中的文件被分成塊，然后將這些塊復(fù)制到多個(gè)計(jì)算機(jī)中（Map Node）。這與傳統(tǒng)的 RAID 架構(gòu)大不相同。塊的大小和復(fù)制的塊數(shù)量在創(chuàng)建文件時(shí)由客戶機(jī)決定。Naming Node監(jiān)控存在服務(wù)器集群內(nèi)所有節(jié)點(diǎn)上的文件操作，例如文件創(chuàng)建、刪除、移動(dòng)、重命名等等。Network File System