真正讓“Da 數(shù)據(jù)”從量變到質(zhì)變的時(shí)代，是數(shù)據(jù)在知覺(jué)系統(tǒng)的第三階段產(chǎn)生。感知系統(tǒng)階段是物聯(lián)網(wǎng)的大規(guī)模普及，物聯(lián)網(wǎng)的快速發(fā)展最終帶來(lái)了“-2”時(shí)代。大數(shù)據(jù)是互聯(lián)網(wǎng)發(fā)展的必然產(chǎn)物:由于互聯(lián)網(wǎng)在資源整合方面的能力不斷增強(qiáng)，互聯(lián)網(wǎng)本身必然要通過(guò)數(shù)據(jù)來(lái)體現(xiàn)自身的價(jià)值，所以從這個(gè)角度來(lái)說(shuō)，大數(shù)據(jù)正在充當(dāng)互聯(lián)網(wǎng)價(jià)值的體現(xiàn)者。

主要有以下三個(gè)功能:一、處理分析數(shù)據(jù)正在成為新一代信息技術(shù)集成應(yīng)用的節(jié)點(diǎn)。移動(dòng)互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、社交網(wǎng)絡(luò)、數(shù)字家庭、電子商務(wù)等是新一代信息技術(shù)的應(yīng)用形式，這些應(yīng)用不斷產(chǎn)生大數(shù)據(jù)。云計(jì)算為這些海量而多樣的大數(shù)據(jù)提供了存儲(chǔ)和計(jì)算平臺(tái)。通過(guò)對(duì)不同來(lái)源數(shù)據(jù)的管理、加工、分析和優(yōu)化，將結(jié)果反饋到上述應(yīng)用中，創(chuàng)造巨大的經(jīng)濟(jì)和社會(huì)價(jià)值。

面向大數(shù)據(jù)市場(chǎng)的新技術(shù)、新產(chǎn)品、新服務(wù)、新業(yè)態(tài)將不斷涌現(xiàn)。在硬件和集成設(shè)備領(lǐng)域，大數(shù)據(jù)將對(duì)芯片和存儲(chǔ)行業(yè)產(chǎn)生重要影響，也將催生集成數(shù)據(jù)存儲(chǔ)處理服務(wù)器、內(nèi)存計(jì)算等市場(chǎng)。在軟件和服務(wù)領(lǐng)域，數(shù)據(jù)將導(dǎo)致數(shù)據(jù)快速處理分析，數(shù)據(jù)開(kāi)發(fā)挖掘技術(shù)和軟件產(chǎn)品。三、利用率大數(shù)據(jù)將成為提高核心競(jìng)爭(zhēng)力的關(guān)鍵因素。各行各業(yè)的決策正在從“業(yè)務(wù)驅(qū)動(dòng)”向“數(shù)據(jù)驅(qū)動(dòng)”轉(zhuǎn)變。

Da數(shù)據(jù)technology的體系龐大而復(fù)雜，基礎(chǔ)技術(shù)有數(shù)據(jù)采集、數(shù)據(jù)預(yù)處理、分布式存儲(chǔ)、數(shù)據(jù)庫(kù)、。1.數(shù)據(jù)采集與預(yù)處理:FlumeNG實(shí)時(shí)日志采集系統(tǒng)，支持日志系統(tǒng)中各種類(lèi)型的定制。數(shù)據(jù)發(fā)件人用于收款數(shù)據(jù)；Zookeeper是一個(gè)分布式、開(kāi)源的分布式應(yīng)用協(xié)調(diào)服務(wù)，提供數(shù)據(jù)同步服務(wù)。2.數(shù)據(jù)存儲(chǔ):Hadoop作為一個(gè)開(kāi)源框架，是專(zhuān)門(mén)為離線(xiàn)和大規(guī)模數(shù)據(jù)分析而設(shè)計(jì)的，HDFS作為其核心存儲(chǔ)引擎，已經(jīng)廣泛應(yīng)用于數(shù)據(jù)存儲(chǔ)。

3.數(shù)據(jù)清洗:MapReduce作為Hadoop的查詢(xún)引擎，用于大規(guī)模數(shù)據(jù)并行計(jì)算。4.數(shù)據(jù)查詢(xún)分析:Hive的核心工作是將SQL語(yǔ)句翻譯成MR程序，可以翻譯結(jié)構(gòu)化-2。Spark啟用了內(nèi)存分配數(shù)據(jù) set，不僅可以提供交互式查詢(xún)，還可以?xún)?yōu)化迭代工作量。

TBDS是基于騰訊多年海量數(shù)據(jù)處理經(jīng)驗(yàn)的大型數(shù)據(jù)平臺(tái)，集成了實(shí)時(shí)/線(xiàn)下場(chǎng)景高性能分析引擎、數(shù)據(jù)開(kāi)發(fā)和數(shù)據(jù)治理功能。其核心包括TBDS 數(shù)據(jù)基礎(chǔ)平臺(tái)、多集群多租戶(hù)管控平臺(tái)、數(shù)據(jù)訪(fǎng)問(wèn)、數(shù)據(jù)開(kāi)發(fā)、數(shù)據(jù)治理、機(jī)器學(xué)習(xí)、智能運(yùn)營(yíng)平臺(tái)等等。騰訊Big 數(shù)據(jù)處理套件(以下簡(jiǎn)稱(chēng)TBDS)TBDS憑借優(yōu)秀的產(chǎn)品力和在政府、金融、工業(yè)等領(lǐng)域的大量行業(yè)應(yīng)用，從1706個(gè)案例中脫穎而出，躋身2019數(shù)博會(huì)“十大Big 數(shù)據(jù) cases”和“Cases”。

Da 數(shù)據(jù)的就業(yè)前景很好。這些是CDA 數(shù)據(jù)分析師，Cloudera認(rèn)證專(zhuān)家，CCAH，CCDH和計(jì)算機(jī)等級(jí)證書(shū)，就業(yè)前景很好。專(zhuān)業(yè)技能證、數(shù)據(jù)工程師證、數(shù)據(jù)分析師證、上崗證、執(zhí)照都是值得申請(qǐng)的，這也是找工作時(shí)的優(yōu)勢(shì)，從未來(lái)技術(shù)發(fā)展和就業(yè)前景政策來(lái)看，國(guó)家大力支持國(guó)務(wù)院于2015年9月發(fā)布《促進(jìn)發(fā)展行動(dòng)計(jì)劃》，并進(jìn)行系統(tǒng)部署。2016年3月，發(fā)布的“十三五”規(guī)劃綱要中，提出“實(shí)施國(guó)會(huì)數(shù)據(jù)戰(zhàn)略”，以國(guó)會(huì)數(shù)據(jù)為基本戰(zhàn)略資源；2020年國(guó)家提出大力發(fā)展“新基礎(chǔ)設(shè)施”，涉及七大領(lǐng)域，包括Da 數(shù)據(jù) Center。