不幸的是，很多時(shí)候，任務(wù)的分配是不均勻的，甚至是不均勻的，以至于大部分任務(wù)都分配到了個(gè)別機(jī)器上，其他大部分機(jī)器只占總數(shù)的一小部分。例如，一臺(tái)機(jī)器處理80%的任務(wù)，另外兩臺(tái)機(jī)器各處理10%的任務(wù)?！安豢喽嗫嗖痪笔欠植际江h(huán)境下最大的問(wèn)題。意味著計(jì)算能力不是線(xiàn)性擴(kuò)張，而是存在短板效應(yīng):一個(gè)階段所花費(fèi)的時(shí)間是由最慢的任務(wù)決定的。

在考慮Hadoop生態(tài)系統(tǒng)中的各種引擎時(shí)，了解每個(gè)引擎在某些用例中工作得最好是很重要的，企業(yè)可能需要使用各種工具組合來(lái)滿(mǎn)足每個(gè)所需的用例。話(huà)雖如此，這里還是回顧一下ApacheSpark的一些頂級(jí)用例。1.Stream 數(shù)據(jù)Apache park的關(guān)鍵用例是它處理Stream數(shù)據(jù)的能力。因?yàn)槊刻於加写罅康臄?shù)據(jù)被處理，所以數(shù)據(jù)的實(shí)時(shí)流和分析對(duì)公司來(lái)說(shuō)變得非常重要。

一些專(zhuān)家甚至認(rèn)為Spark可以成為流計(jì)算應(yīng)用程序的首選平臺(tái)，無(wú)論其類(lèi)型如何。之所以有這個(gè)要求，是因?yàn)镾parkStreaming統(tǒng)一了不同的數(shù)據(jù)處理函數(shù)，這樣開(kāi)發(fā)者就可以用一個(gè)單一的框架來(lái)滿(mǎn)足他們所有的處理需求。在當(dāng)今企業(yè)中使用火花流的一般方法包括:1 .流式ETL——在數(shù)據(jù) warehouse環(huán)境中用于批處理的傳統(tǒng)ETL(提取、轉(zhuǎn)換和加載)工具必須讀取數(shù)據(jù)，將其轉(zhuǎn)換為數(shù)據(jù) library兼容格式，然后寫(xiě)入目標(biāo)。

本文討論的場(chǎng)景僅限于spark計(jì)算引擎，但不限于spark。相關(guān)討論可以遷移到其他計(jì)算引擎。什么是數(shù)據(jù) tilt？所有數(shù)據(jù)傾斜，從任務(wù)粒度來(lái)說(shuō)，就是單個(gè)任務(wù)的數(shù)據(jù)的個(gè)數(shù)，比其他任務(wù)的數(shù)據(jù)的個(gè)數(shù)大很多倍。具體來(lái)說(shuō)，我們可以從tasksummary中看到是在max的時(shí)候被讀取的。

具體操作步驟:1。準(zhǔn)備Spark程序的目錄結(jié)構(gòu)。2.編輯build.sbt配置文件以添加依賴(lài)項(xiàng)。3.創(chuàng)建write tock . Scala數(shù)據(jù)-1/writer文件。4.編譯打包。5.快跑。參數(shù)描述:yourusername:在目標(biāo)ClickHouse集群中創(chuàng)建的數(shù)據(jù) library的帳戶(hù)名。您的密碼:數(shù)據(jù)與庫(kù)帳戶(hù)名對(duì)應(yīng)的密碼。Yoururl:目標(biāo)ClickHouse群集地址。

Spark是HadoopMapReduce的通用并行框架，由UCBerkeleyAMPlab開(kāi)放。Spark具有HadoopMapReduce的優(yōu)點(diǎn)。但與MapReduce不同的是，Job的中間輸出結(jié)果可以存儲(chǔ)在內(nèi)存中，因此不再需要讀寫(xiě)HDFS，所以Spark可以更好地應(yīng)用于數(shù)據(jù)MapReduce中需要迭代的算法，例如挖掘和機(jī)器學(xué)習(xí)數(shù)據(jù)科學(xué)家為了回答一個(gè)問(wèn)題或進(jìn)行深入研究會(huì)使用相關(guān)的技術(shù)分析數(shù)據(jù)。

No .根據(jù)公開(kāi)資料查詢(xún)得知，DAGScheduler負(fù)責(zé)Spark最高層的任務(wù)調(diào)度，調(diào)度的粒度為Stage。taskScheduler負(fù)責(zé)在由DAGScheduler劃分的舞臺(tái)上運(yùn)行任務(wù)，當(dāng)一個(gè)任務(wù)運(yùn)行不正確時(shí)，會(huì)在Stage中重試，不保留錯(cuò)誤數(shù)據(jù)，只有Stage中的任務(wù)運(yùn)行成功后，才會(huì)進(jìn)入下一個(gè)操作員任務(wù)。