隨著科技和互聯(lián)網(wǎng)的發(fā)展，“-1”的時代正在到來，各行各業(yè)每天都在產(chǎn)生大量的數(shù)據(jù)碎片。數(shù)據(jù)的計量單位從字節(jié)、KB、MB、GB、TB發(fā)展到PB、EB、ZB。大數(shù)據(jù)Times數(shù)據(jù)的集合已經(jīng)不是技術(shù)問題，只是面對這么多數(shù)據(jù)，如何才能找到其內(nèi)在規(guī)律？大數(shù)據(jù)的開挖和處理。大型數(shù)據(jù)無法通過人腦估算或單臺計算機處理，必須采用分布式計算架構(gòu)，依靠分布式處理、分布式數(shù)據(jù)庫、云存儲和云計算的虛擬化技術(shù)。因此，大數(shù)據(jù)的挖掘和處理必須使用云技術(shù)。

1，Da 數(shù)據(jù)，又稱龐大數(shù)據(jù)，是一種有價值的信息資產(chǎn)的集合，具有高增長率和多樣化的特點。不僅包括數(shù)字，還包括圖片、文字、視頻、交互記錄等等。Large 數(shù)據(jù)在可容忍的時間范圍內(nèi)，不可能用常規(guī)的軟件工具進行捕獲、處理和管理。它有四個特點:明亮、高速、多樣、有價值。主要用于計算機中，其最小單位是位。2.Big 數(shù)據(jù)可以說是云計算不斷發(fā)展的產(chǎn)物。同時必須依靠云計算的分布式處理、分布式數(shù)據(jù)庫、云存儲和虛擬化技術(shù)來分布海量數(shù)據(jù)。

經(jīng)過處理后，這些信息中的一部分將被轉(zhuǎn)換成規(guī)則的信息結(jié)構(gòu)，以便進行分析，從而有利于企業(yè)的營銷甚至國家安全。數(shù)據(jù)的四個“V”有四個特點:第一，數(shù)據(jù)巨大。從TB級跳到PB級；第二，數(shù)據(jù)有很多類型。前面提到的博客、視頻、圖片、地理信息等等。再次，處理速度快，可以按照一秒鐘的規(guī)律從各類數(shù)據(jù)中快速獲取高價值的信息，這也是與傳統(tǒng)的數(shù)據(jù)挖掘技術(shù)的本質(zhì)區(qū)別。

large 數(shù)據(jù)首先，它是一個非常大的數(shù)據(jù) set，可以達到TB(萬億字節(jié))甚至ZB(十萬億字節(jié))。數(shù)據(jù)既可以是結(jié)構(gòu)化的數(shù)據(jù)，也可以是半結(jié)構(gòu)化和非結(jié)構(gòu)化的數(shù)據(jù)，它來自不同的數(shù)據(jù)源。什么是結(jié)構(gòu)化數(shù)據(jù)？接觸過關(guān)系型數(shù)據(jù)庫的朋友應(yīng)該不陌生。對了，它是我們關(guān)系數(shù)據(jù)庫中的一個表，每一行都有相同的屬性。以下表為例:數(shù)據(jù)的每一行都有相同的屬性，都是結(jié)構(gòu)化的數(shù)據(jù)。

XML或JSON格式的數(shù)據(jù)是我們常見的半結(jié)構(gòu)化數(shù)據(jù)。比如下面的XML 數(shù)據(jù):(子標(biāo)簽的順序和個數(shù)不一定相同)什么是非結(jié)構(gòu)化數(shù)據(jù)？這類數(shù)據(jù)沒有預(yù)定義的完整結(jié)構(gòu)，但正是這類數(shù)據(jù)我們在日常工作和生活中可能接觸較多，比如圖片、圖像、音頻、視頻、辦公文檔等等。知道了這三類結(jié)構(gòu)的數(shù)據(jù)，再來看看大數(shù)據(jù)的數(shù)據(jù)。

你有很多大的數(shù)據(jù)什么是大的數(shù)據(jù)有一個故事，當(dāng)顧客點披薩的時候，披薩店可以立刻調(diào)出顧客的很多信息，比如送披薩必備的家庭和單位?？蛻裘裸y行卡的透支額度可以決定他的支付方式，甚至當(dāng)客戶想取自己的披薩時，可以根據(jù)客戶名下車輛的停放位置來估算自己的到達時間。

“Da 數(shù)據(jù)是數(shù)據(jù)的集合，其特點是容量大、分集、存取速度快，應(yīng)用價值高。正在迅速發(fā)展成為數(shù)量龐大、來源分散、格式多樣的數(shù)據(jù)的收集、存儲和相關(guān)分析，從中可以發(fā)現(xiàn)新的知識和創(chuàng)意。工信部信息化和軟件服務(wù)業(yè)司副司長李冠宇在接受《經(jīng)濟日報·中國經(jīng)濟網(wǎng)》記者采訪時表示。

Da 數(shù)據(jù)是指數(shù)據(jù)集合中的內(nèi)容在一定時期內(nèi)無法被常規(guī)軟件工具捕獲、管理和處理。大數(shù)據(jù)技術(shù)是指從各類數(shù)據(jù)中快速獲取有價值信息的能力。Big 數(shù)據(jù)(bigdata)是指數(shù)據(jù)的集合，其內(nèi)容在一定時期內(nèi)無法被常規(guī)軟件工具捕獲、管理和處理。大數(shù)據(jù)具有五個特征，即成交量、速度、品種、低值密度和真實性。

large數(shù)據(jù)(bigdata)是指在可承受的時間范圍內(nèi)，常規(guī)軟件工具無法捕捉、管理和處理的數(shù)據(jù)的集合。“大-1”技術(shù)的戰(zhàn)略意義不在于掌握龐大的數(shù)據(jù)信息，而在于專業(yè)地處理這些有意義的數(shù)據(jù)信息。換句話說，如果把Da 數(shù)據(jù)比作一個行業(yè)，那么這個行業(yè)實現(xiàn)盈利的關(guān)鍵就在于提高數(shù)據(jù)的“加工能力”，通過“加工”實現(xiàn)數(shù)據(jù)的“增值”。從技術(shù)上來說，Da 數(shù)據(jù)和云計算的關(guān)系就像一枚硬幣的兩面一樣密不可分。

其特點在于分布式數(shù)據(jù)海量數(shù)據(jù)挖掘，但必須依靠分布式處理、分布式數(shù)據(jù)庫的云計算、云存儲和虛擬化技術(shù)。大型數(shù)據(jù)分析往往與云計算聯(lián)系在一起，因為實時大型數(shù)據(jù) set分析需要MapReduce這樣的框架將工作分配到幾十臺、幾百臺甚至幾千臺計算機上，大數(shù)據(jù)需要特殊技術(shù)才能在容差時間內(nèi)有效處理大量數(shù)據(jù)的數(shù)據(jù)。適合大型數(shù)據(jù)的技術(shù)，包括大規(guī)模并行處理(MPP) 數(shù)據(jù)庫、數(shù)據(jù)礦用電網(wǎng)、分布式文件系統(tǒng)、分布式數(shù)據(jù)庫、云計算平臺、互聯(lián)網(wǎng)和可擴展存儲。