大數(shù)據(jù)技術(shù)主要包括數(shù)據(jù)采集與預(yù)處理、數(shù)據(jù)存儲與管理、數(shù)據(jù)處理與分析、數(shù)據(jù)結(jié)果呈現(xiàn)。1.數(shù)據(jù)采集和預(yù)處理在大數(shù)據(jù)的生命周期中，數(shù)據(jù)采集處于第一個環(huán)節(jié)。使用ETL工具，將分布式、異構(gòu)數(shù)據(jù)源中的數(shù)據(jù)提取到臨時中間層，經(jīng)過清洗、轉(zhuǎn)換和集成，最終加載到數(shù)據(jù)倉庫或數(shù)據(jù)集市進(jìn)行實(shí)時處理和分析。2.數(shù)據(jù)存儲和管理對于不同的數(shù)據(jù)集，可能有不同的結(jié)構(gòu)和模式，比如文件和關(guān)系表。需要使用分布式文件系統(tǒng)、數(shù)據(jù)倉庫和云數(shù)據(jù)庫來存儲和管理半結(jié)構(gòu)化、結(jié)構(gòu)化和非結(jié)構(gòu)化的海量數(shù)據(jù)。

隨著云技術(shù)和互聯(lián)網(wǎng)的不斷發(fā)展，現(xiàn)在很多企業(yè)都需要云計(jì)算和大數(shù)據(jù)方面的人才，那么這兩者哪個前景更好呢？首先，大數(shù)據(jù)和云計(jì)算在技術(shù)架構(gòu)上密切相關(guān)，兩者都是基于分布式存儲和分布式計(jì)算，只是云計(jì)算側(cè)重于服務(wù)，而大數(shù)據(jù)更注重數(shù)據(jù)的價值，兩者在應(yīng)用上的區(qū)別很明顯。對于初學(xué)者來說，選擇學(xué)習(xí)云計(jì)算還是大數(shù)據(jù)，要結(jié)合自己的知識基礎(chǔ)。雖然云計(jì)算和大數(shù)據(jù)的人才類型需求是多樣化的，但是云計(jì)算從業(yè)者的主要工作往往集中在IT互聯(lián)網(wǎng)行業(yè)，而大數(shù)據(jù)的就業(yè)領(lǐng)域會更加廣泛。在工業(yè)互聯(lián)網(wǎng)的推動下，大量傳統(tǒng)行業(yè)未來也需要大數(shù)據(jù)人才。

bigdata，即巨量數(shù)據(jù)，是指無法通過目前主流的軟件工具在合理的時間內(nèi)捕獲、管理、處理和整理的所涉及的信息，以幫助企業(yè)做出更加積極的商業(yè)決策。大數(shù)據(jù)的4V特征:量、速、變、準(zhǔn)。大數(shù)據(jù)需要特殊的技術(shù)才能在容差時間內(nèi)有效處理大量數(shù)據(jù)。

大數(shù)據(jù)技術(shù)的戰(zhàn)略意義不在于掌握龐大的數(shù)據(jù)信息，而在于對這些有意義的數(shù)據(jù)進(jìn)行專業(yè)化處理。換句話說，如果把大數(shù)據(jù)比作一個行業(yè)，那么這個行業(yè)盈利的關(guān)鍵就在于提高數(shù)據(jù)的“處理能力”，通過“處理”實(shí)現(xiàn)數(shù)據(jù)的“增值”。從技術(shù)上講，大數(shù)據(jù)和云計(jì)算的關(guān)系就像硬幣的正反面一樣密不可分。大數(shù)據(jù)不是單臺計(jì)算機(jī)能處理的，必須采用分布式架構(gòu)。

但它必須依靠云計(jì)算分布式處理、分布式 數(shù)據(jù)庫以及云存儲和虛擬化技術(shù)?！按髷?shù)據(jù)”這個詞被白越來越多的提及，人們用它來描述和定義新智的信息爆炸時代產(chǎn)生的海量數(shù)據(jù)，稱之為大數(shù)據(jù)時代。隨著云時代的到來，大數(shù)據(jù)受到越來越多的關(guān)注。Bigdata通常用來描述一個公司創(chuàng)建的大量非結(jié)構(gòu)化和半結(jié)構(gòu)化的數(shù)據(jù)，下載到relational 數(shù)據(jù)庫進(jìn)行分析會耗費(fèi)太多的時間和金錢。

bigdata是指在一定時間內(nèi)，常規(guī)軟件工具無法捕捉、管理和處理的數(shù)據(jù)集合。它是一種海量、高增長、多元化的信息資產(chǎn)，需要一種新的處理模式來擁有更強(qiáng)的決策力、洞察和發(fā)現(xiàn)能力以及流程優(yōu)化能力，[1]在維克多·邁耶、勛伯格和肯尼斯·庫克耶寫的《大數(shù)據(jù)時代》[2]中，大數(shù)據(jù)是指所有的數(shù)據(jù)都用于分析和處理，而沒有隨機(jī)分析(抽樣調(diào)查)的捷徑。