1。hadoop和Storm我該選哪個(gè)？為了區(qū)分hadoop和Storm，本部分將回答以下問(wèn)題:1。Hadoop和Storm的操作有哪些？2.為什么Storm被稱為流計(jì)算系統(tǒng)？3.Hadoop適合什么場(chǎng)景，什么時(shí)候使用Hadoop？4.什么是吞吐量？首先，整體理解:Hadoop是磁盤級(jí)計(jì)算。計(jì)算時(shí)，數(shù)據(jù)在磁盤上，需要讀寫。暴風(fēng)是內(nèi)存級(jí)計(jì)算，數(shù)據(jù)直接通過(guò)網(wǎng)絡(luò)導(dǎo)入內(nèi)存。

根據(jù)HarvardCS61課件，磁盤訪問(wèn)延遲約為內(nèi)存訪問(wèn)延遲的75000倍。所以風(fēng)暴更快。注:1。延遲是指從數(shù)據(jù)產(chǎn)生到運(yùn)算結(jié)果的時(shí)間，“快”應(yīng)該主要指這個(gè)。2.吞吐量是指單位時(shí)間內(nèi)系統(tǒng)處理的數(shù)據(jù)量。暴風(fēng)的網(wǎng)絡(luò)直傳，內(nèi)存計(jì)算，時(shí)延必然比hadoop通過(guò)hdfs傳輸?shù)秃芏?；?dāng)計(jì)算模型適合流式處理時(shí)，storm的流式處理節(jié)省了批處理中數(shù)據(jù)采集的時(shí)間；因?yàn)閟torm是面向服務(wù)的作業(yè)，所以也省去了作業(yè)調(diào)度的延遲。

Spark是處理海量數(shù)據(jù)的快速通用引擎。作為大數(shù)據(jù)處理技術(shù)，Spark經(jīng)常被拿來(lái)和Hadoop做比較。Hadoop已經(jīng)成為大數(shù)據(jù)技術(shù)事實(shí)上的標(biāo)準(zhǔn)，HadoopMapReduce也非常適合大規(guī)模數(shù)據(jù)集的批量處理，但是它仍然存在一些缺陷。具體表現(xiàn)為:1。HadoopMapRedue的表達(dá)能力有限。所有的計(jì)算都需要轉(zhuǎn)化為Map和Reduce兩個(gè)操作，這兩個(gè)操作并不適合所有的場(chǎng)景，對(duì)于復(fù)雜的數(shù)據(jù)處理也很難描述。

HadoopMapReduce要求每一步之間的數(shù)據(jù)都要序列化到磁盤上，所以I/O成本很高，導(dǎo)致交互分析和迭代算法的開(kāi)銷很高，而幾乎所有的優(yōu)化和機(jī)器學(xué)習(xí)都是迭代的。所以HadoopMapReduce不適合交互分析和機(jī)器學(xué)習(xí)。3.計(jì)算延遲很高。如果要完成更復(fù)雜的工作，必須串聯(lián)一系列MapReduce作業(yè)，然后按順序執(zhí)行。

Cpu消耗很大，主要看寫什么樣的程序。如果簡(jiǎn)單程序代碼不多，速度不是很高，一個(gè)通用CPU和內(nèi)存就行了。對(duì)于大型程序，我們不得不考慮CPU指令集的豐富性。復(fù)雜指令的效率比較高，可以減少代碼執(zhí)行時(shí)間。內(nèi)存自然是越大越好，這取決于操作系統(tǒng)的尋址范圍和管理模式。比如畫面豐富的大型游戲軟件，不僅需要cpu，內(nèi)存高，還需要顯卡。

文章首發(fā)于騰訊云數(shù)據(jù)庫(kù)騰訊云 社區(qū)的專家服務(wù)專欄。在日常工作中，當(dāng)MySQL的狀態(tài)不太對(duì)勁的時(shí)候，我們通常會(huì)查看一下監(jiān)控指標(biāo)，往往會(huì)看到一個(gè)熟悉的場(chǎng)景:CPU利用率又爆發(fā)了。本文將介紹MySQL和CPU的關(guān)系。知道這些之后，我們就可以更準(zhǔn)確的判斷出問(wèn)題的原因，提前發(fā)現(xiàn)一些引發(fā)CPU問(wèn)題的隱患。

在考慮Hadoop生態(tài)系統(tǒng)中的各種引擎時(shí)，了解每個(gè)引擎在某些用例中工作得最好是很重要的，企業(yè)可能需要使用各種工具組合來(lái)滿足每個(gè)所需的用例。話雖如此，這里還是回顧一下ApacheSpark的一些頂級(jí)用例。首先，流數(shù)據(jù)ApacheSpark的關(guān)鍵用例是它處理流數(shù)據(jù)的能力。因?yàn)槊刻於家幚泶罅康臄?shù)據(jù)，所以對(duì)公司來(lái)說(shuō)，實(shí)時(shí)地對(duì)數(shù)據(jù)進(jìn)行流式處理和分析是非常重要的。

一些專家甚至認(rèn)為Spark可以成為流計(jì)算應(yīng)用程序的首選平臺(tái)，無(wú)論其類型如何。之所以有這個(gè)要求，是因?yàn)镾parkStreaming統(tǒng)一了不同的數(shù)據(jù)處理功能，這樣開(kāi)發(fā)者就可以用一個(gè)單一的框架來(lái)滿足他們所有的處理需求。當(dāng)今企業(yè)使用火花流的一般方式包括:1 .流式ETL——數(shù)據(jù)倉(cāng)庫(kù)環(huán)境中用于批處理的傳統(tǒng)ETL(提取、轉(zhuǎn)換和加載)工具必須讀取數(shù)據(jù)，將其轉(zhuǎn)換為數(shù)據(jù)庫(kù)兼容格式，然后寫入目標(biāo)數(shù)據(jù)庫(kù)。

Hadoop包括MapReduce和HDFS。目前非常流行的Spark，只有被取代才會(huì)取代Hadoop中的MapReduce。Spark在任務(wù)調(diào)度和數(shù)據(jù)可靠性上確實(shí)比MapReduce快很多，并且支持在內(nèi)存中緩存數(shù)據(jù)，下一次查詢將直接基于內(nèi)存。Spark:是基于內(nèi)存 computing的開(kāi)源集群計(jì)算系統(tǒng)，旨在讓數(shù)據(jù)分析更快。

Spark是用Scala語(yǔ)言實(shí)現(xiàn)的，使用Scala作為應(yīng)用框架。與Hadoop不同，Spark和Scala可以緊密集成，Scala可以像操作本地集合對(duì)象一樣輕松操作分布式數(shù)據(jù)集，雖然Spark的創(chuàng)建是為了支持分布式數(shù)據(jù)集上的迭代作業(yè)，但它實(shí)際上是Hadoop的補(bǔ)充，可以在Hadoop文件系統(tǒng)中并行運(yùn)行。