Apache park是一個專門為大規(guī)模數(shù)據(jù)處理設(shè)計的快速通用計算引擎。它是一個快速、通用、可擴展的大數(shù)據(jù)分析引擎，是一個類似Hadoop的開源集群計算環(huán)境。2009年誕生于加州大學(xué)伯克利分校AMPLab，2010年開源，2013年6月成為Apache孵化項目，2014年2月成為Apache頂級項目。目前，Spark生態(tài)系統(tǒng)已經(jīng)發(fā)展成為包含多個子項目的集合，包括SparkSQL、SparkStreaming、GraphX、MLlib等子項目。Spark是基于內(nèi)存計算的大數(shù)據(jù)并行計算框架，提高了數(shù)據(jù)處理在大數(shù)據(jù)環(huán)境下的實時性能，保證了高容錯性和高可擴展性，允許用戶在大量廉價硬件上部署Spark。

什么是bigdata？大數(shù)據(jù)是指在一定時間內(nèi)，常規(guī)軟件工具無法捕捉、管理和處理的數(shù)據(jù)集合。它是一種海量、高增長、多元化的信息資產(chǎn)，需要新的處理模式來擁有更強的決策、洞察和流程優(yōu)化能力。大數(shù)據(jù)的5V特征:體量(海量)、速度(高速)、多樣性(多樣性)、價值(低價值密度)、真實性(真實性)，百度隨便就能找到。

搭建數(shù)據(jù)倉庫，數(shù)據(jù)采集就是通過前端點埋數(shù)據(jù)，通過接口日志調(diào)用流數(shù)據(jù)，抓取數(shù)據(jù)庫，客戶自己上傳數(shù)據(jù)，用這些基礎(chǔ)信息數(shù)據(jù)保存各種維度，感覺有些數(shù)據(jù)沒用(剛開始只想著功能，有些數(shù)據(jù)沒采集到，后來被老板罵了一頓)。2.數(shù)據(jù)清洗/預(yù)處理:對接收到的數(shù)據(jù)進行簡單的處理，比如將ip轉(zhuǎn)換成地址，過濾掉臟數(shù)據(jù)。

以下是etl清理數(shù)據(jù)和spark數(shù)據(jù)清理的區(qū)別:1。處理方式不同。Etl通常采用批處理，即從源系統(tǒng)中提取數(shù)據(jù)，然后進行清洗和轉(zhuǎn)換，最后加載到目標(biāo)系統(tǒng)中。Spar是一個分布式計算框架，可以實現(xiàn)實時或離線數(shù)據(jù)處理，適用于大規(guī)模的數(shù)據(jù)處理和分析。2.數(shù)據(jù)處理能力不同。etl的數(shù)據(jù)處理能力比較弱，主要用于數(shù)據(jù)清理和轉(zhuǎn)換。

3.不同的編程語言。Etl通常用SQL或腳本語言數(shù)據(jù)處理編寫，而spar用Scala、Java或Python等編程語言編寫。4.數(shù)據(jù)處理速度不一樣。因為spar是內(nèi)存計算框架，可以利用內(nèi)存中的數(shù)據(jù)進行計算，所以處理速度比etl更快。ETL(extractformload)和Spark都是數(shù)據(jù)處理領(lǐng)域的常用工具，都可以用于數(shù)據(jù)清洗。

火花流.根據(jù)SCDN查詢，spark streaming insparkcomponent可以處理和控制實時數(shù)據(jù)流。SpakSteamin是Spak平臺實時教材流計算的一個組件，為處理教材提供了豐富的AP1。這些API對應(yīng)的是SPAKCore中的基礎(chǔ)作品，開發(fā)者在熟悉了Spak的核心概念和編程方法后，編寫Spak流應(yīng)用會更加方便。

Hadoop包括MapReduce和HDFS。目前非常流行的Spark，只有被取代才會取代Hadoop中的MapReduce。Spark在任務(wù)調(diào)度和數(shù)據(jù)可靠性上確實比MapReduce快很多，而且支持內(nèi)存緩存數(shù)據(jù)，下一次查詢直接基于內(nèi)存訪問。Spark是基于內(nèi)存計算的開源集群計算系統(tǒng)，旨在讓數(shù)據(jù)分析更快。

Spark是用Scala語言實現(xiàn)的，使用Scala作為應(yīng)用框架。與Hadoop不同，Spark和Scala可以緊密集成，Scala可以像操作本地集合對象一樣輕松操作分布式數(shù)據(jù)集，雖然Spark的創(chuàng)建是為了支持分布式數(shù)據(jù)集上的迭代作業(yè)，但它實際上是Hadoop的補充，可以在Hadoop文件系統(tǒng)中并行運行。