真正讓“Da 數(shù)據(jù)”從量變到質(zhì)變的時代，是數(shù)據(jù)在知覺系統(tǒng)的第三階段產(chǎn)生。感知系統(tǒng)階段是物聯(lián)網(wǎng)的大規(guī)模普及，物聯(lián)網(wǎng)的快速發(fā)展最終帶來了“-2”時代。大數(shù)據(jù)是互聯(lián)網(wǎng)發(fā)展的必然產(chǎn)物:由于互聯(lián)網(wǎng)在資源整合方面的能力不斷增強(qiáng)，互聯(lián)網(wǎng)本身必然要通過數(shù)據(jù)來體現(xiàn)自身的價值，所以從這個角度來說，大數(shù)據(jù)正在充當(dāng)互聯(lián)網(wǎng)價值的體現(xiàn)者。

主要有以下三個功能:一、處理分析數(shù)據(jù)正在成為新一代信息技術(shù)集成應(yīng)用的節(jié)點(diǎn)。移動互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、社交網(wǎng)絡(luò)、數(shù)字家庭、電子商務(wù)等是新一代信息技術(shù)的應(yīng)用形式，這些應(yīng)用不斷產(chǎn)生大數(shù)據(jù)。云計(jì)算為這些海量而多樣的大數(shù)據(jù)提供了存儲和計(jì)算平臺。通過對不同來源數(shù)據(jù)的管理、加工、分析和優(yōu)化，將結(jié)果反饋到上述應(yīng)用中，創(chuàng)造巨大的經(jīng)濟(jì)和社會價值。

面向大數(shù)據(jù)市場的新技術(shù)、新產(chǎn)品、新服務(wù)、新業(yè)態(tài)將不斷涌現(xiàn)。在硬件和集成設(shè)備領(lǐng)域，大數(shù)據(jù)將對芯片和存儲行業(yè)產(chǎn)生重要影響，也將催生集成數(shù)據(jù)存儲處理服務(wù)器、內(nèi)存計(jì)算等市場。在軟件和服務(wù)領(lǐng)域，數(shù)據(jù)將導(dǎo)致數(shù)據(jù)快速處理分析，數(shù)據(jù)開發(fā)挖掘技術(shù)和軟件產(chǎn)品。三、利用率大數(shù)據(jù)將成為提高核心競爭力的關(guān)鍵因素。各行各業(yè)的決策正在從“業(yè)務(wù)驅(qū)動”向“數(shù)據(jù)驅(qū)動”轉(zhuǎn)變。

Da數(shù)據(jù)technology的體系龐大而復(fù)雜，基礎(chǔ)技術(shù)有數(shù)據(jù)采集、數(shù)據(jù)預(yù)處理、分布式存儲、數(shù)據(jù)庫、。1.數(shù)據(jù)采集與預(yù)處理:FlumeNG實(shí)時日志采集系統(tǒng)，支持日志系統(tǒng)中各種類型的定制。數(shù)據(jù)發(fā)件人用于收款數(shù)據(jù)；Zookeeper是一個分布式、開源的分布式應(yīng)用協(xié)調(diào)服務(wù)，提供數(shù)據(jù)同步服務(wù)。2.數(shù)據(jù)存儲:Hadoop作為一個開源框架，是專門為離線和大規(guī)模數(shù)據(jù)分析而設(shè)計(jì)的，HDFS作為其核心存儲引擎，已經(jīng)廣泛應(yīng)用于數(shù)據(jù)存儲。

3.數(shù)據(jù)清洗:MapReduce作為Hadoop的查詢引擎，用于大規(guī)模數(shù)據(jù)并行計(jì)算。4.數(shù)據(jù)查詢分析:Hive的核心工作是將SQL語句翻譯成MR程序，可以翻譯結(jié)構(gòu)化-2。Spark啟用了內(nèi)存分配數(shù)據(jù) set，不僅可以提供交互式查詢，還可以優(yōu)化迭代工作量。

TBDS是基于騰訊多年海量數(shù)據(jù)處理經(jīng)驗(yàn)的大型數(shù)據(jù)平臺，集成了實(shí)時/線下場景高性能分析引擎、數(shù)據(jù)開發(fā)和數(shù)據(jù)治理功能。其核心包括TBDS 數(shù)據(jù)基礎(chǔ)平臺、多集群多租戶管控平臺、數(shù)據(jù)訪問、數(shù)據(jù)開發(fā)、數(shù)據(jù)治理、機(jī)器學(xué)習(xí)、智能運(yùn)營平臺等等。騰訊Big 數(shù)據(jù)處理套件(以下簡稱TBDS)TBDS憑借優(yōu)秀的產(chǎn)品力和在政府、金融、工業(yè)等領(lǐng)域的大量行業(yè)應(yīng)用，從1706個案例中脫穎而出，躋身2019數(shù)博會“十大Big 數(shù)據(jù) cases”和“Cases”。

Da 數(shù)據(jù)的就業(yè)前景很好。這些是CDA 數(shù)據(jù)分析師，Cloudera認(rèn)證專家，CCAH，CCDH和計(jì)算機(jī)等級證書，就業(yè)前景很好。專業(yè)技能證、數(shù)據(jù)工程師證、數(shù)據(jù)分析師證、上崗證、執(zhí)照都是值得申請的，這也是找工作時的優(yōu)勢，從未來技術(shù)發(fā)展和就業(yè)前景政策來看，國家大力支持國務(wù)院于2015年9月發(fā)布《促進(jìn)發(fā)展行動計(jì)劃》，并進(jìn)行系統(tǒng)部署。2016年3月，發(fā)布的“十三五”規(guī)劃綱要中，提出“實(shí)施國會數(shù)據(jù)戰(zhàn)略”，以國會數(shù)據(jù)為基本戰(zhàn)略資源；2020年國家提出大力發(fā)展“新基礎(chǔ)設(shè)施”，涉及七大領(lǐng)域，包括Da 數(shù)據(jù) Center。