首頁 > 資訊 > 經(jīng)驗(yàn) > 列式數(shù)據(jù)庫，什么是nosql數(shù)據(jù)庫什么又是列式數(shù)據(jù)庫

列式數(shù)據(jù)庫，什么是nosql數(shù)據(jù)庫什么又是列式數(shù)據(jù)庫

來源：整理時(shí)間：2024-11-18 16:53:06 編輯：智能門戶手機(jī)版

本文目錄一覽

1，什么是nosql數(shù)據(jù)庫什么又是列式數(shù)據(jù)庫
2，行式數(shù)據(jù)庫和列式數(shù)據(jù)庫的優(yōu)缺點(diǎn)是什么行式數(shù)據(jù)庫和列式數(shù)據(jù)庫
3，hdfs 列式存儲(chǔ)和行式存儲(chǔ)的區(qū)別
4，列式數(shù)據(jù)庫的優(yōu)缺點(diǎn)
5，列式數(shù)據(jù)庫的舉例
6，列式數(shù)據(jù)庫的描述

1，什么是nosql數(shù)據(jù)庫什么又是列式數(shù)據(jù)庫

NoSQL與關(guān)系型數(shù)據(jù)庫設(shè)計(jì)理念比較關(guān)系型數(shù)據(jù)庫中的表都是存儲(chǔ)一些格式化的數(shù)據(jù)結(jié)構(gòu)，每個(gè)元組字段的組成都一樣，即使不是每個(gè)元組都需要所有的字段，但數(shù)據(jù)庫會(huì)為每個(gè)元組分配所有的字段

什么是nosql數(shù)據(jù)庫什么又是列式數(shù)據(jù)庫

2，行式數(shù)據(jù)庫和列式數(shù)據(jù)庫的優(yōu)缺點(diǎn)是什么行式數(shù)據(jù)庫和列式數(shù)據(jù)庫

傳統(tǒng)的行式數(shù)據(jù)庫，是按照行存儲(chǔ)的，維護(hù)大量的索引和物化視圖無論是在時(shí)間(處理)還是空間(存儲(chǔ))方面成本都很高。而列式數(shù)據(jù)庫恰恰相反，列式數(shù)據(jù)庫的數(shù)據(jù)是按照列存儲(chǔ)，每一列單獨(dú)存放，數(shù)據(jù)即是索引。只訪問查詢涉及的列，大大降低了系統(tǒng)I/O，每一列由一個(gè)線來處理，而且由于數(shù)據(jù)類型一致，數(shù)據(jù)特征相似，極大方便壓縮。行式數(shù)據(jù)庫擅長隨機(jī)讀操作，列式數(shù)據(jù)庫則更擅長大批量數(shù)據(jù)量查詢

行式數(shù)據(jù)庫和列式數(shù)據(jù)庫的優(yōu)缺點(diǎn)是什么行式數(shù)據(jù)庫和列式數(shù)據(jù)庫

3，hdfs 列式存儲(chǔ)和行式存儲(chǔ)的區(qū)別

列式數(shù)據(jù)庫是將同一個(gè)數(shù)據(jù)列的各個(gè)值存放在一起。插入某個(gè)數(shù)據(jù)行時(shí)，該行的各個(gè)數(shù)據(jù)列的值也會(huì)存放到不同的地方。列式存儲(chǔ)：每一列單獨(dú)存放，數(shù)據(jù)即是索引。只訪問涉及得列，如果我們想訪問單獨(dú)一列（比如NAME）會(huì)相當(dāng)迅捷。一行數(shù)據(jù)包含一個(gè)列或者多個(gè)列，每個(gè)列一單獨(dú)一個(gè)cell來存儲(chǔ)數(shù)據(jù)。而行式存儲(chǔ)，則是把一行數(shù)據(jù)作為一個(gè)整體來存儲(chǔ)。在HANA的世界中，并不是只存在列式存儲(chǔ)，行式存儲(chǔ)也是存在的。各自的優(yōu)缺點(diǎn)：詳細(xì)對比：

hdfs 列式存儲(chǔ)和行式存儲(chǔ)的區(qū)別

4，列式數(shù)據(jù)庫的優(yōu)缺點(diǎn)

優(yōu)點(diǎn)：極高的裝載速度（最高可以等于所有硬盤IO 的總和，基本是極限了）適合大量的數(shù)據(jù)而不是小數(shù)據(jù) 實(shí)時(shí)加載數(shù)據(jù)僅限于增加（刪除和更新需要解壓縮Block 然后計(jì)算然后重新壓縮儲(chǔ)存）高效的壓縮率，不僅節(jié)省儲(chǔ)存空間也節(jié)省計(jì)算內(nèi)存和CPU。非常適合做聚合操作。缺點(diǎn)：不適合掃描小量數(shù)據(jù) 不適合隨機(jī)的更新批量更新情況各異，有的優(yōu)化的比較好的列式數(shù)據(jù)庫（比如Vertica）表現(xiàn)比較好，有些沒有針對更新的數(shù)據(jù)庫表現(xiàn)比較差。不適合做含有刪除和更新的實(shí)時(shí)操作。

5，列式數(shù)據(jù)庫的舉例

下面以GBase 8a分析型數(shù)據(jù)庫為例，描述列存儲(chǔ)對數(shù)據(jù)存儲(chǔ)與管理的作用。面對海量數(shù)據(jù)分析的 I/O 瓶頸，GBase 8a 把表數(shù)據(jù)按列的方式存儲(chǔ)，其優(yōu)勢體現(xiàn)在以下幾個(gè)方面。不讀取無效數(shù)據(jù)：降低 I/O 開銷，同時(shí)提高每次 I/O 的效率，從而大大提高查詢性能。查詢語句只從磁盤上讀取所需要的列，其他列的數(shù)據(jù)是不需要讀取的。例如，有兩張表，每張表100GB 且有100 列，大多數(shù)查詢只關(guān)注幾個(gè)列，采用列存儲(chǔ)，不需要像行存數(shù)據(jù)庫一樣，將整行數(shù)據(jù)取出，只取出需要的列。磁盤 I/0 是行存儲(chǔ)的 1/10或更少，查詢響應(yīng)時(shí)間提高 10 倍以上。高壓縮比：壓縮比可以達(dá)到 5 ~ 20 倍以上，數(shù)據(jù)占有空間降低到傳統(tǒng)數(shù)據(jù)庫的1/10 ，節(jié)省了存儲(chǔ)設(shè)備的開銷。當(dāng)數(shù)據(jù)庫的大小與數(shù)據(jù)庫服務(wù)器內(nèi)存大小之比達(dá)到或超過 2:1 （典型的大型系統(tǒng)配置值）時(shí)，列存的 I/O 優(yōu)勢就顯得更加明顯；GBase 8a 分析型數(shù)據(jù)庫的獨(dú)特列存儲(chǔ)格式，對每列數(shù)據(jù)再細(xì)分為“數(shù)據(jù)包”。這樣可以達(dá)到很高的可擴(kuò)展性：無論一個(gè)表有多大，數(shù)據(jù)庫只操作相關(guān)的數(shù)據(jù)包，性能不會(huì)隨著數(shù)據(jù)量的增加而下降。通過以數(shù)據(jù)包為單位進(jìn)行 I/O 操作提升數(shù)據(jù)吞吐量，從而進(jìn)一步提高I/O效率。由于采用列存儲(chǔ)技術(shù)，還可以實(shí)現(xiàn)高效的透明壓縮。由于數(shù)據(jù)按列包存儲(chǔ)，每個(gè)數(shù)據(jù)包內(nèi)都是同構(gòu)數(shù)據(jù)，內(nèi)容相關(guān)性很高，這使得GBase 8a 更易于實(shí)現(xiàn)壓縮，壓縮比通常能夠達(dá)到 1:10 甚至更優(yōu)。這使得能夠同時(shí)在磁盤 I/O 和 Cache I/O 上都提升數(shù)據(jù)庫的性能，使 GBase 8a 在某些場景下的運(yùn)算性能比傳統(tǒng)數(shù)據(jù)庫快 100 倍以上。GBase 8a 允許用戶根據(jù)需要設(shè)置配置文件，選擇是否進(jìn)行壓縮。在啟用壓縮的情況下GBase 8a 根據(jù)數(shù)據(jù)的不同特性以及不同的分布狀況，自動(dòng)采用相應(yīng)的壓縮算法，如：行程編碼（適用于大量連續(xù)重復(fù)的數(shù)據(jù)，特別是排序數(shù)據(jù)）；基于數(shù)據(jù)的差值編碼（適用于重復(fù)率低，但彼此差值較小的數(shù)據(jù)列）；基于位置的差值編碼（適用于重復(fù)率高，但分布比較隨機(jī)的數(shù)據(jù)列）。

6，列式數(shù)據(jù)庫的描述

數(shù)據(jù)庫以行、列的二維表的形式存儲(chǔ)數(shù)據(jù)，但是卻以一維字符串的方式存儲(chǔ)，例如以下的一個(gè)表： EmpId Lastname Firstname Salary 1 Smith Joe 40000 2 Jones Mary 50000 3 Johnson Cathy 44000 這個(gè)簡單的表包括員工代碼(EmpId), 姓名字段(Lastname and Firstname)及工資(Salary).這個(gè)表存儲(chǔ)在電腦的內(nèi)存(RAM)和存儲(chǔ)(硬盤)中。雖然內(nèi)存和硬盤在機(jī)制上不同，電腦的操作系統(tǒng)是以同樣的方式存儲(chǔ)的。數(shù)據(jù)庫必須把這個(gè)二維表存儲(chǔ)在一系列一維的“字節(jié)”中，由操作系統(tǒng)寫到內(nèi)存或硬盤中。行式數(shù)據(jù)庫把一行中的數(shù)據(jù)值串在一起存儲(chǔ)起來，然后再存儲(chǔ)下一行的數(shù)據(jù)，以此類推。1,Smith,Joe,40000;2,Jones,Mary,50000;3,Johnson,Cathy,44000;列式數(shù)據(jù)庫把一列中的數(shù)據(jù)值串在一起存儲(chǔ)起來，然后再存儲(chǔ)下一列的數(shù)據(jù)，以此類推。1,2,3;Smith,Jones,Johnson;Joe,Mary,Cathy;40000,50000,44000; 這是一個(gè)簡化的說法。列式數(shù)據(jù)庫的代表包括：Sybase IQ，infobright、infiniDB、GBase 8a，ParAccel, Sand/DNA Analytics和 Vertica。MPP的列存儲(chǔ)數(shù)據(jù)倉庫包括：Yonghong Z-DataMart

access 是微軟公司推出的基于windows的桌面關(guān)系數(shù)據(jù)庫管理系統(tǒng)(rdbms),是office系列應(yīng)用軟件之一。它提供了表、查詢、窗體、報(bào)表、頁、宏、模塊7種用來建立數(shù)據(jù)庫系統(tǒng)的對象;提供了多種向?qū)?、生成器、模?把數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)查詢、界面設(shè)計(jì)、報(bào)表生成等操作規(guī)范化;為建立功能完善的數(shù)據(jù)庫管理系統(tǒng)提供了方便,也使得普通用戶不必編寫代碼,就可以完成大部分?jǐn)?shù)據(jù)管理的任務(wù)。 access是一種關(guān)系型數(shù)據(jù)庫管理系統(tǒng),其主要特點(diǎn)如下: (1)存儲(chǔ)方式單一 access管理的對象有表、查詢、窗體、報(bào)表、頁、宏和模塊,以上對象都存放在后綴為(.mdb)的數(shù)據(jù)庫文件種,便于用戶的操作和管理。 (2)面向?qū)ο?access是一個(gè)面向?qū)ο蟮拈_發(fā)工具,利用面向?qū)ο蟮姆绞綄?shù)據(jù)庫系統(tǒng)中的各種功能對象化,將數(shù)據(jù)庫管理的各種功能封裝在各類對象中。它將一個(gè)應(yīng)用系統(tǒng)當(dāng)作是由一系列對象組成的,對每個(gè)對象它都定義一組方法和屬性,以定義該對象的行為和外國,用戶還可以按需要給對象擴(kuò)展方法和屬性。通過對象的方法、屬性完成數(shù)據(jù)庫的操作和管理,極大地簡化了用戶的開發(fā)工作。同時(shí),這種基于面向?qū)ο蟮拈_發(fā)方式,使得開發(fā)應(yīng)用程序更為簡便。 (3)界面友好、易操作 access是一個(gè)可視化工具,是風(fēng)格與windows完全一樣,用戶想要生成對象并應(yīng)用,只要使用鼠標(biāo)進(jìn)行拖放即可,非常直觀方便。系統(tǒng)還提供了表生成器、查詢生成器、報(bào)表設(shè)計(jì)器以及數(shù)據(jù)庫向?qū)А⒈硐驅(qū)?、查詢向?qū)А⒋绑w向?qū)?、?bào)表向?qū)У裙ぞ?使得操作簡便,容易使用和掌握。 (4)集成環(huán)境、處理多種數(shù)據(jù)信息 access基于windows操作系統(tǒng)下的集成開發(fā)環(huán)境,該環(huán)境集成了各種向?qū)Ш蜕善鞴ぞ?極大地提高了開發(fā)人員的工作效率,使得建立數(shù)據(jù)庫、創(chuàng)建表、設(shè)計(jì)用戶界面、設(shè)計(jì)數(shù)據(jù)查詢、報(bào)表打印等可以方便有序地進(jìn)行。 (5)access支持odbc(開發(fā)數(shù)據(jù)庫互連,open data base connectivity),利用access強(qiáng)大的dde(動(dòng)態(tài)數(shù)據(jù)交換)和ole(對象的聯(lián)接和嵌入)特性,可以在一個(gè)數(shù)據(jù)表中嵌入位圖、聲音、excel表格、word文檔,還可以建立動(dòng)態(tài)的數(shù)據(jù)庫報(bào)表和窗體等。access還可以將程序應(yīng)用于網(wǎng)絡(luò),并與網(wǎng)絡(luò)上的動(dòng)態(tài)數(shù)據(jù)相聯(lián)接。利用數(shù)據(jù)庫訪問頁對象生成html文件,輕松構(gòu)建internet/intranet的應(yīng)用。用dreamweaver和visual stdiou都可以建wap網(wǎng)站

文章TAG：列式數(shù)據(jù)庫什么是nosql數(shù)據(jù)庫什么又是列式數(shù)據(jù)庫