哪個框架更適合「大數(shù)據(jù)架構(gòu)」？3.數(shù)據(jù)存儲公司需要存儲將通過大數(shù)據(jù)架構(gòu)處理的數(shù)據(jù)。數(shù)據(jù)分析系統(tǒng)架構(gòu)包含什么？1.數(shù)據(jù)源所有大數(shù)據(jù)架構(gòu)都是從源代碼開始的，這是因為批處理可以用來有效處理大量數(shù)據(jù)，而實時數(shù)據(jù)需要立即處理才能帶來價值，電商節(jié)天貓如何處理大數(shù)據(jù)。

hadoop包括hdfs、mapreduce、yarn和核心組件。Hdfs用于存儲，mapreduce用于計算，yarn用于資源管理。Spark包括sparksql、saprkmllib、sparkstreaming和spark graph計算。saprk的這些組件都是經(jīng)過計算的。Sparksql離線計算，sparkstreaming流計算，sparkmllib機(jī)器學(xué)習(xí)。

哈哈，只有mapreduce像spark一樣用于計算。如果要比較的話，只能比較mapreduce和spark的區(qū)別。mapreduce迭代計算的中間結(jié)果放在磁盤上，適合大數(shù)據(jù)離線計算。Spark技術(shù)先進(jìn)，統(tǒng)一使用rdd，結(jié)果可以存儲在內(nèi)存，流水線，計算速度比mapreduce快。

1、hadoop作為大數(shù)據(jù)中的主要工具，可以分發(fā)大量的數(shù)據(jù)，這個工具主要有三個特點。該工具可以是高效和可靠的，并且可以用于以可擴(kuò)展的方式完成處理。這個工具之所以可靠，是因為在使用時，它可以同時維護(hù)數(shù)據(jù)的多個副本，并且在面對失效節(jié)點時，可以保證有針對性地完成處理。2.hpcc作為一種高性能計算和通信工具，由美國于1993年提出。其主要目的是解決重要的科學(xué)技術(shù)問題。

美國想把這個工具應(yīng)用到信息高速公路上，主要目的是發(fā)布可擴(kuò)展的計算系統(tǒng)和開發(fā)可擴(kuò)展的相關(guān)軟件。同時發(fā)展千兆網(wǎng)絡(luò)技術(shù)，網(wǎng)絡(luò)連接等。3.Storm有很多應(yīng)用領(lǐng)域，比如不間斷計算、在線學(xué)習(xí)、實時分析等等。這個工具不僅使用起來有趣，而且處理速度驚人。經(jīng)過測試，該工具可以在一秒鐘內(nèi)處理100萬個數(shù)據(jù)元組。

1，解題水平不同。首先，Hadoop和ApacheSpark都是大數(shù)據(jù)框架，只是各自的目的不同。Hadoop本質(zhì)上更多的是一種分布式數(shù)據(jù)基礎(chǔ)設(shè)施:它將龐大的數(shù)據(jù)集分布到由普通計算機(jī)組成的集群中的多個節(jié)點上進(jìn)行存儲，這意味著你不需要購買和維護(hù)昂貴的服務(wù)器硬件。同時Hadoop會對這些數(shù)據(jù)進(jìn)行索引和跟蹤，使得large 數(shù)據(jù)處理和large/0/的分析效率達(dá)到前所未有的高度。