這個(gè)只能說(shuō)是主流技術(shù)，不是核心技術(shù)；目前國(guó)內(nèi)很多公司在大數(shù)據(jù)方面主要使用Hadoop生態(tài)系統(tǒng)中的技術(shù)，如Hadoop、yarn、zookeeper、kafka、flume、spark、hive、Hbase等。這些東西用的比較多，不僅僅是這些技術(shù)，還有應(yīng)用技術(shù)的便利性，數(shù)據(jù)分析的方向。所以這個(gè)問(wèn)題你先有問(wèn)題。大數(shù)據(jù)是一個(gè)方向領(lǐng)域，就像你問(wèn)什么是飲食，飲食的哪些方面。

在ForresterResearch最近的一份研究報(bào)告中，評(píng)估了整個(gè)數(shù)據(jù)生命周期中22項(xiàng)技術(shù)的成熟度和軌跡。這些技術(shù)為大數(shù)據(jù)的實(shí)時(shí)性、預(yù)測(cè)性和全面洞察性做出了巨大貢獻(xiàn)。1.預(yù)測(cè)分析技術(shù)這也是大數(shù)據(jù)的主要功能之一。預(yù)測(cè)分析允許公司通過(guò)分析大數(shù)據(jù)源來(lái)發(fā)現(xiàn)、評(píng)估、優(yōu)化和部署預(yù)測(cè)模型，從而提高業(yè)務(wù)績(jī)效或降低風(fēng)險(xiǎn)。同時(shí)，大數(shù)據(jù)的預(yù)測(cè)分析也與我們的生活息息相關(guān)。

大數(shù)據(jù)量巨大，格式多樣。大量數(shù)據(jù)由家庭、制造工廠和辦公室、互聯(lián)網(wǎng)交易、社交網(wǎng)絡(luò)活動(dòng)、自動(dòng)化傳感器、移動(dòng)設(shè)備和科學(xué)研究?jī)x器中的各種設(shè)備產(chǎn)生。其爆炸式的增長(zhǎng)已經(jīng)超過(guò)了傳統(tǒng)IT基礎(chǔ)設(shè)施的處理能力，給企業(yè)和社會(huì)帶來(lái)了嚴(yán)峻的數(shù)據(jù)管理問(wèn)題。因此，需要開(kāi)發(fā)新的數(shù)據(jù)架構(gòu)，圍繞“數(shù)據(jù)采集、數(shù)據(jù)管理、數(shù)據(jù)分析、知識(shí)形成、智能行動(dòng)”的全過(guò)程來(lái)開(kāi)發(fā)和利用這些數(shù)據(jù)，釋放數(shù)據(jù)更多的隱藏價(jià)值。

隨著科技的發(fā)展，人們已經(jīng)能夠制造出具有處理功能的極其微小的傳感器，并開(kāi)始將這些設(shè)備廣泛地布置在社會(huì)的各個(gè)角落，通過(guò)這些設(shè)備來(lái)監(jiān)控整個(gè)社會(huì)的運(yùn)行。這些設(shè)備將不斷生成自動(dòng)生成的新數(shù)據(jù)。因此，在數(shù)據(jù)收集方面，要對(duì)來(lái)自網(wǎng)絡(luò)的數(shù)據(jù)，包括物聯(lián)網(wǎng)、社交網(wǎng)絡(luò)、機(jī)構(gòu)信息系統(tǒng)等，附加時(shí)間和空間的標(biāo)記，去偽存真，盡可能收集異構(gòu)甚至異構(gòu)的數(shù)據(jù)，必要時(shí)與歷史數(shù)據(jù)進(jìn)行對(duì)比，多角度驗(yàn)證數(shù)據(jù)的全面性和可信度。

Hadoop核心architecture，分為四個(gè)模塊:1。Hadoop通用性:提供Hadoop模塊需要的Java類(lèi)庫(kù)和工具。2.HadoopYARN:提供任務(wù)調(diào)度和集群資源管理功能。3.HadoopHDFS:分布式文件系統(tǒng)，提供高吞吐量的應(yīng)用程序數(shù)據(jù)訪問(wèn)。4.HadoopMapReduce:大數(shù)據(jù)的離線計(jì)算引擎，用于大規(guī)模數(shù)據(jù)集的并行處理。

Hadoop項(xiàng)目是一個(gè)開(kāi)源軟件，旨在實(shí)現(xiàn)可靠、可擴(kuò)展和分布式計(jì)算?？煽?有了備份，數(shù)據(jù)不容易丟失，Hdfs可以備份數(shù)據(jù)?？蓴U(kuò)展:存儲(chǔ)不足，加磁盤(pán)，加機(jī)器掛磁盤(pán)分析CPU內(nèi)存資源不足，加機(jī)器和內(nèi)存分布式計(jì)算:多臺(tái)機(jī)器同時(shí)計(jì)算一個(gè)任務(wù)的一部分，然后匯總每次計(jì)算的結(jié)果，hadoop核心Component用于解決兩個(gè)核心問(wèn)題:存儲(chǔ)和計(jì)算核心Component:1)Hadoop common:一組分布式文件系統(tǒng)和通用I/O組件和接口(序列化、JavaRPC和持久性)。