Spark和Hadoop最大的區(qū)別是Hadoop用硬盤存儲(chǔ)數(shù)據(jù)，而Spark用內(nèi)存存儲(chǔ)數(shù)據(jù)，所以Spark能提供比Ha？Doop快了100倍。因?yàn)閿嚯姾髢?nèi)存會(huì)丟失數(shù)據(jù)，所以Spark無法用來處理需要長(zhǎng)期存儲(chǔ)的數(shù)據(jù)。3StormStorm是Twitter推廣的分布式計(jì)算系統(tǒng)。它在Hadoop的基礎(chǔ)上提供了實(shí)時(shí)操作特性，可以處理大型實(shí)時(shí)流。

問題1: Da 數(shù)據(jù)可視化分析工具有哪些？大數(shù)據(jù)可視化分析工具，既然是大數(shù)據(jù)，就必須具備處理海量的能力數(shù)據(jù)，以及圖形呈現(xiàn)和交互的能力。能夠快速收集、篩選、分析、匯總、展示決策者需要的信息，并根據(jù)新增的-3實(shí)時(shí)進(jìn)行更新。這個(gè)領(lǐng)域的工具一般都是企業(yè)級(jí)的應(yīng)用，比如國(guó)外的Tableau，Qlik，微軟，SAS，IBM，都支持?jǐn)?shù)據(jù)分析和分析結(jié)果展示產(chǎn)品?？梢苑謩e了解一下優(yōu)缺點(diǎn)。

問題2: Big 數(shù)據(jù)可視化和Big 數(shù)據(jù)哪個(gè)更大數(shù)據(jù)開發(fā)的學(xué)習(xí)內(nèi)容包括可視化，可以掌握Big 數(shù)據(jù)的開發(fā)技術(shù)，也可以從事可視化的相關(guān)工作?；A(chǔ)階段:Linux，Docker，KVM，MySQL，Oracle，MongoDB，redis。Hadoop: Hadoop: Hadoop概念，版本，歷史，HDFS工作原理，紗線介紹，組件介紹。

【簡(jiǎn)介】Da 數(shù)據(jù)的應(yīng)用開發(fā)過于偏向底層，學(xué)習(xí)難度大，涉及技術(shù)面廣，制約了Da 數(shù)據(jù)的普及。Big 數(shù)據(jù) 架構(gòu)是Big 數(shù)據(jù)技術(shù)應(yīng)用的一種非常常見的形式，那么big數(shù)據(jù)system架構(gòu)包括哪些內(nèi)容呢？讓我們仔細(xì)看看。1.數(shù)據(jù)所有來源數(shù)據(jù) 架構(gòu)所有從源代碼開始。這可以包括數(shù)據(jù)來自數(shù)據(jù) library、實(shí)時(shí)來自源(如物聯(lián)網(wǎng)設(shè)備)以及從應(yīng)用程序生成的靜態(tài)文件(如Windows日志)。

3.數(shù)據(jù)存儲(chǔ)公司需要存儲(chǔ)將通過處理的數(shù)據(jù) 架構(gòu)。一般來說，數(shù)據(jù)會(huì)存儲(chǔ)在數(shù)據(jù) Lake中，這是一個(gè)很大的非結(jié)構(gòu)化的數(shù)據(jù)庫(kù)，很容易擴(kuò)展。4.批量處理和實(shí)時(shí)處理的組合公司需要同時(shí)處理實(shí)時(shí)-3/和靜態(tài)數(shù)據(jù)所以應(yīng)該在大數(shù)據(jù)。這是因?yàn)榕幚砜梢杂脕碛行幚泶笈康臄?shù)據(jù)，而實(shí)時(shí) 數(shù)據(jù)需要即時(shí)處理才能帶來價(jià)值。批處理涉及長(zhǎng)時(shí)間運(yùn)行的作業(yè)，用于篩選、聚合和制備/分析。

在我看來，一個(gè)完整的平臺(tái)應(yīng)該提供線下數(shù)據(jù)、特設(shè)詢價(jià)、實(shí)時(shí) 計(jì)算、實(shí)時(shí)。Hadoop、spark和storm無法單獨(dú)完成上述所有功能。Hadoop spark hive是非常不錯(cuò)的選擇。hadoop的HDFS無疑是分布式文件系統(tǒng)解決存儲(chǔ)問題的解決方案。Hadoopmapreduce、hive、sparkapplication、sparkSQL解決了離線計(jì)算和即席查詢的問題；

此外，還需要HBase或Redis等NOSQL技術(shù)來解決實(shí)時(shí)的查詢問題；除了這些，平臺(tái)中不可或缺的還有任務(wù)調(diào)度系統(tǒng)和數(shù)據(jù) exchange工具；任務(wù)調(diào)度系統(tǒng)解決了所有大型數(shù)據(jù)平臺(tái)中的任務(wù)調(diào)度和監(jiān)控；數(shù)據(jù)交換工具解決其他數(shù)據(jù)源與HDFS之間的傳輸，如:數(shù)據(jù)庫(kù)到HDFS，HDFS到數(shù)據(jù)庫(kù)等等。關(guān)于Da數(shù)據(jù)platform架構(gòu)的技術(shù)文章，可以搜索lxw的Da 數(shù)據(jù) field，有很多。

Da 數(shù)據(jù)運(yùn)維，Da 數(shù)據(jù)挖掘，Da 數(shù)據(jù)分析，Da 數(shù)據(jù)加工等等。云計(jì)算大數(shù)據(jù)和物聯(lián)網(wǎng)是未來的發(fā)展趨勢(shì)。三大趨勢(shì)。檸檬學(xué)院數(shù)據(jù)。Cloud 計(jì)算和Big 數(shù)據(jù)概述Cloud計(jì)算(Cloud computing)是一種基于互聯(lián)網(wǎng)增加、使用和交付相關(guān)服務(wù)的模式，通常涉及通過互聯(lián)網(wǎng)提供可動(dòng)態(tài)擴(kuò)展且往往是虛擬化的資源。云是網(wǎng)絡(luò)和互聯(lián)網(wǎng)的隱喻。

狹義的云計(jì)算指IT基礎(chǔ)設(shè)施的交付和使用模式，指通過網(wǎng)絡(luò)以按需、可擴(kuò)展的方式獲取所需資源；廣義的云計(jì)算指的是服務(wù)交付和使用模式，指的是通過網(wǎng)絡(luò)以按需、可擴(kuò)展的方式獲取所需的服務(wù)。該服務(wù)可以與IT和軟件、互聯(lián)網(wǎng)或其他服務(wù)相關(guān)。意思是計(jì)算能力也可以通過網(wǎng)絡(luò)作為商品流通。Big 數(shù)據(jù)(bigdata)，或massive 數(shù)據(jù)，是指所涉及的信息規(guī)模如此之大，以至于無法通過當(dāng)前主流的軟件工具對(duì)其進(jìn)行捕捉、管理、處理和整理，成為更為積極的信息，以幫助企業(yè)在合理的時(shí)間內(nèi)做出商業(yè)決策。

基礎(chǔ)階段:Linux，Docker，KVM，MySQL Foundation，Oracle Foundation，MongoDB，redis。Hadoop: Hadoop: Hadoop概念，版本，歷史，HDFS工作原理，紗線介紹，組件介紹，大型數(shù)據(jù)存儲(chǔ)階段:hbase、hive、sqoop。大型數(shù)據(jù) 架構(gòu)設(shè)計(jì)階段:水槽分布式，動(dòng)物園管理員，卡夫卡。