另外還需要HBase或Redis等NOSQL技術(shù)來(lái)解決實(shí)時(shí)查詢的問(wèn)題；除了這些，平臺(tái)中不可或缺的還有任務(wù)調(diào)度系統(tǒng)和數(shù)據(jù) exchange工具；任務(wù)調(diào)度系統(tǒng)解決了所有大型數(shù)據(jù)平臺(tái)中的任務(wù)調(diào)度和監(jiān)控；數(shù)據(jù)交換工具解決其他數(shù)據(jù)源與HDFS之間的傳輸，如:數(shù)據(jù)庫(kù)到HDFS，HDFS到數(shù)據(jù)庫(kù)等等。關(guān)于Da數(shù)據(jù)platform架構(gòu)的技術(shù)文章，可以搜索lxw的Da 數(shù)據(jù) field，有很多。

數(shù)據(jù)庫(kù)系統(tǒng)由四部分組成:1 .數(shù)據(jù)圖書館是指長(zhǎng)期存放在計(jì)算機(jī)中的數(shù)據(jù)的有組織的、可共享的集合；2.硬件是指構(gòu)成計(jì)算機(jī)系統(tǒng)的各種物理設(shè)備，包括存儲(chǔ)所需的外部設(shè)備；3.軟件，包括操作系統(tǒng)、數(shù)據(jù)圖書館管理系統(tǒng)和應(yīng)用程序；4.人員，包括系統(tǒng)分析師和數(shù)據(jù)庫(kù)設(shè)計(jì)人員、應(yīng)用程序程序員(負(fù)責(zé)使用數(shù)據(jù)庫(kù)編寫應(yīng)用程序)、最終用戶(通過(guò)接口或查詢語(yǔ)言訪問(wèn)數(shù)據(jù)庫(kù))、數(shù)據(jù)庫(kù)。

(1)物理數(shù)據(jù)樓層。它是數(shù)據(jù) library的最內(nèi)層，是實(shí)際存儲(chǔ)在物理存儲(chǔ)設(shè)備上的數(shù)據(jù)的集合。這些數(shù)據(jù)是原數(shù)據(jù)，是用戶處理的對(duì)象，由內(nèi)部模式描述的指令操作處理的位串、字符和字組成。(2)概念數(shù)據(jù)層。它是數(shù)據(jù) library的中間層，是數(shù)據(jù) library的整體邏輯表示。指出了每個(gè)數(shù)據(jù)的邏輯定義和數(shù)據(jù)之間的邏輯關(guān)系，是存儲(chǔ)記錄的集合。它涉及的是數(shù)據(jù) library中所有對(duì)象的邏輯關(guān)系，而不是它們的物理?xiàng)l件，是數(shù)據(jù) library管理員概念下的數(shù)據(jù) library。

1，linear 數(shù)據(jù)結(jié)構(gòu)元素一般元素之間是一一對(duì)應(yīng)的關(guān)系，這是數(shù)據(jù)結(jié)構(gòu)最常用的類型，典型的例子有:數(shù)組、堆棧、隊(duì)列、線性表。2.樹形結(jié)構(gòu)中的節(jié)點(diǎn)之間存在層次關(guān)系。每層中的一個(gè)節(jié)點(diǎn)可以且只能與上層中的一個(gè)節(jié)點(diǎn)相關(guān)，但也可以與下層中的多個(gè)節(jié)點(diǎn)相關(guān)，這就是所謂的“一對(duì)多”關(guān)系。常見的類型有:樹和堆。3.圖形結(jié)構(gòu)在圖形結(jié)構(gòu)中，允許多個(gè)節(jié)點(diǎn)相關(guān)聯(lián)，這就是所謂的“多對(duì)多”關(guān)系。

根據(jù)數(shù)據(jù)元素之間關(guān)系的不同特點(diǎn)，數(shù)據(jù)的結(jié)構(gòu)往往分為以下四種基本結(jié)構(gòu):(1)集合結(jié)構(gòu)。這個(gè)結(jié)構(gòu)的數(shù)據(jù)元素之間的關(guān)系是“屬于同一個(gè)集合”。⑵線性結(jié)構(gòu)。此結(jié)構(gòu)中的數(shù)據(jù)元素之間存在一對(duì)一的關(guān)系。⑶樹形結(jié)構(gòu)。此結(jié)構(gòu)中的數(shù)據(jù)元素之間存在一對(duì)多關(guān)系。(4)圖形結(jié)構(gòu)。這個(gè)結(jié)構(gòu)中的數(shù)據(jù)元素之間存在多對(duì)多的關(guān)系，也叫網(wǎng)絡(luò)結(jié)構(gòu)。數(shù)據(jù)結(jié)構(gòu)是計(jì)算機(jī)存儲(chǔ)和組織的方式數(shù)據(jù)。

1，渠道類型數(shù)據(jù)架構(gòu)Division也會(huì)往這個(gè)方向分類:一是開源，互聯(lián)網(wǎng)公司一般都喜歡這個(gè)門戶，二是商業(yè)軟件學(xué)校，比如Oracle，IBM，通常處理傳統(tǒng)企業(yè)的數(shù)據(jù)問(wèn)題。這個(gè)門戶受到了阿里、騰訊、華為的巨大沖擊。個(gè)人認(rèn)為開源派更符合近幾年的趨勢(shì)。渠道類型數(shù)據(jù) 架構(gòu)分部服務(wù)倉(cāng)庫(kù)類型數(shù)據(jù) 架構(gòu)分部。坦白說(shuō)，你的開發(fā)能力應(yīng)該是牛逼的，應(yīng)該懂應(yīng)用。

數(shù)據(jù)結(jié)構(gòu)是計(jì)算機(jī)存儲(chǔ)和組織的方式數(shù)據(jù)。數(shù)據(jù)結(jié)構(gòu)指的是數(shù)據(jù)元素的集合，這些元素彼此之間具有一個(gè)或多個(gè)特定的關(guān)系?？偟膩?lái)說(shuō)，精心選擇的數(shù)據(jù)結(jié)構(gòu)可以帶來(lái)更高的運(yùn)算或存儲(chǔ)效率。數(shù)據(jù)的結(jié)構(gòu)往往與高效的檢索算法和索引技術(shù)有關(guān)。數(shù)據(jù)的邏輯結(jié)構(gòu)和存儲(chǔ)結(jié)構(gòu)是數(shù)據(jù)結(jié)構(gòu)密切相關(guān)的兩個(gè)方面，同一個(gè)邏輯結(jié)構(gòu)可以對(duì)應(yīng)不同的存儲(chǔ)結(jié)構(gòu)。算法的設(shè)計(jì)依賴于數(shù)據(jù)的邏輯結(jié)構(gòu)，而算法的實(shí)現(xiàn)依賴于指定的存儲(chǔ)結(jié)構(gòu)。

通過(guò)分解，可以分為數(shù)據(jù)三個(gè)層次；然后通過(guò)抽象，丟棄數(shù)據(jù) element的具體內(nèi)容，得到邏輯結(jié)構(gòu)。同樣，操作的定義也是通過(guò)分解將處理需求劃分成各種功能，然后通過(guò)抽象丟棄實(shí)現(xiàn)細(xì)節(jié)而得到的，數(shù)據(jù)的物理結(jié)構(gòu)介紹:數(shù)據(jù)的物理結(jié)構(gòu)是數(shù)據(jù)結(jié)構(gòu)在計(jì)算機(jī)中的表示(也叫鏡像)，包括數(shù)據(jù)元素的內(nèi)置表示和關(guān)系的內(nèi)置表示。因?yàn)閷?shí)現(xiàn)的方式有很多種，比如排序、鏈接、索引、哈希等，結(jié)構(gòu)可以被表達(dá)為一個(gè)或多個(gè)存儲(chǔ)結(jié)構(gòu)。