因?yàn)楣雀枋菙?shù)據(jù)的鼻祖。很多人提到Da 數(shù)據(jù)，必然會(huì)想到Google的“三駕馬車(chē)”(又稱(chēng)Google三寶):GFS、MapReduce和BigTable。正所謂三篇論文是數(shù)據(jù)的巔峰之作，激發(fā)了數(shù)據(jù)technology開(kāi)源時(shí)代的到來(lái)，成就了Hadoop輝煌的十年。尤其是近幾年Da 數(shù)據(jù) technology的發(fā)展，無(wú)論是技術(shù)的迭代，還是生態(tài)圈的繁榮，都遠(yuǎn)遠(yuǎn)超出了人們的想象。

TranswarpDataStudio .TranswarpDataStudio(簡(jiǎn)稱(chēng)TDS)是星環(huán)科技開(kāi)發(fā)的一站式大型數(shù)據(jù)開(kāi)發(fā)工具，提供數(shù)據(jù)集成、存儲(chǔ)、治理、服務(wù)和共享數(shù)據(jù)企業(yè)級(jí)管理能力，處理全生命周期。結(jié)合星環(huán)科技大學(xué)數(shù)據(jù)基礎(chǔ)平臺(tái)TranswarpDataHub(簡(jiǎn)稱(chēng)TDH)的多模態(tài)處理能力，可以提高企業(yè)建設(shè)數(shù)據(jù)中臺(tái)、數(shù)據(jù)倉(cāng)庫(kù)、9。

用戶(hù)可以開(kāi)發(fā)分布式程序，而無(wú)需了解發(fā)行版的底層細(xì)節(jié)。充分利用集群的力量進(jìn)行高速操作和存儲(chǔ)。Hadoop是一個(gè)軟件結(jié)構(gòu)，可以分布很多數(shù)據(jù)。Hadoop以可靠、高效和可擴(kuò)展的方式處理數(shù)據(jù)2.ApacheHiveHive是一個(gè)建立在Hadoop上的開(kāi)源數(shù)據(jù)warehouse基礎(chǔ)設(shè)施，可以簡(jiǎn)單的通過(guò)Hive進(jìn)行數(shù)據(jù)的ETL。

本文主要整理自阿里巴巴計(jì)算平臺(tái)事業(yè)部高級(jí)技術(shù)專(zhuān)家莫問(wèn)在云起大會(huì)上的演講。隨著人工智能時(shí)代的到來(lái)，數(shù)據(jù)數(shù)量爆發(fā)。在典型的大型數(shù)據(jù)業(yè)務(wù)場(chǎng)景數(shù)據(jù)業(yè)務(wù)中，最常見(jiàn)的方式是使用批處理技術(shù)處理整個(gè)數(shù)量數(shù)據(jù)。在大多數(shù)業(yè)務(wù)場(chǎng)景中，用戶(hù)的業(yè)務(wù)邏輯在批處理和流處理中往往是相同的。但是，用戶(hù)用于批處理和流處理的兩套計(jì)算引擎是不同的。

無(wú)疑，這帶來(lái)了一些額外的負(fù)擔(dān)和成本。阿里巴巴的商品數(shù)據(jù)處理往往需要面對(duì)增量和全量?jī)商撞煌臉I(yè)務(wù)流程，所以阿里在想，我們能不能有一個(gè)統(tǒng)一的大數(shù)據(jù)引擎技術(shù)，用戶(hù)只需要根據(jù)自己的業(yè)務(wù)邏輯開(kāi)發(fā)一套代碼就可以了。這樣在各種場(chǎng)景下，無(wú)論是全數(shù)據(jù)還是增量數(shù)據(jù)，還是實(shí)時(shí)處理，都可以完全支持一套方案，這也是阿里選擇Flink的背景和初衷。

Spark已經(jīng)取代Hadoop成為最活躍的開(kāi)源large數(shù)據(jù)project。但是，在選擇大型數(shù)據(jù)框架時(shí)，企業(yè)不應(yīng)厚此薄彼。著名專(zhuān)家BernardMarr在一篇文章中分析了Spark和Hadoop的異同。Hadoop和Spark都是big 數(shù)據(jù)框架，都提供了一些工具來(lái)執(zhí)行常見(jiàn)的big 數(shù)據(jù)任務(wù)，但恰恰，它們執(zhí)行的是不同的任務(wù)。雖然據(jù)說(shuō)Spark在某些情況下比Hadoop快100倍，但它沒(méi)有分布式存儲(chǔ)系統(tǒng)，而分布式存儲(chǔ)系統(tǒng)是許多大型數(shù)據(jù)項(xiàng)目的基礎(chǔ)。它可以在幾乎無(wú)限的普通計(jì)算機(jī)的硬盤(pán)上存儲(chǔ)PB級(jí)數(shù)據(jù) sets并提供良好的可擴(kuò)展性。你只需要隨著數(shù)據(jù)套的增加而增加硬盤(pán)即可。所以Spark需要一個(gè)第三方分布式存儲(chǔ)。正是因?yàn)檫@個(gè)原因，很多大型數(shù)據(jù)項(xiàng)目都在Hadoop上安裝Spark，這樣，Spark的高級(jí)分析應(yīng)用就可以使用數(shù)據(jù)存儲(chǔ)在HDFS。與Hadoop相比，Spark真正的優(yōu)勢(shì)在于速度。Spark的大部分操作都在內(nèi)存中，Hadoop的MapReduce系統(tǒng)會(huì)下載。

今天真是一個(gè)美好的時(shí)代。有無(wú)數(shù)的開(kāi)源系統(tǒng)可以為我們提供服務(wù)?，F(xiàn)在工業(yè)大學(xué)有很多開(kāi)發(fā)軟件可以用數(shù)據(jù)。當(dāng)然，很多系統(tǒng)還不成熟，應(yīng)用到行業(yè)中還需要謹(jǐn)慎，開(kāi)發(fā)者需要一定程度的優(yōu)化和調(diào)整。先簡(jiǎn)單介紹一些開(kāi)源工具和軟件，看看有哪些可以應(yīng)用到工業(yè)數(shù)據(jù)領(lǐng)域。下面這張圖是我根據(jù)網(wǎng)上流傳的a 開(kāi)源 Da 數(shù)據(jù)軟件分類(lèi)圖整理出來(lái)的:我們可以把開(kāi)源 Da 數(shù)據(jù)軟件分成幾類(lèi)，其中一部分可以逐步應(yīng)用到工業(yè)大學(xué)。

(2)File數(shù)據(jù)Library Hadoop是數(shù)據(jù)時(shí)代的明星產(chǎn)品，其最大的成就在于實(shí)現(xiàn)了Hadoop分布式文件系統(tǒng)，簡(jiǎn)稱(chēng)HDFS。HDFS具有高容錯(cuò)的特點(diǎn)，設(shè)計(jì)部署在低成本的硬件上，為訪問(wèn)數(shù)據(jù) of應(yīng)用提供高吞吐量，適用于那些數(shù)據(jù)set非常大的應(yīng)用。

1。什么是阿帕奇麒麟？在當(dāng)前數(shù)據(jù)的時(shí)代，越來(lái)越多的企業(yè)開(kāi)始使用Hadoop管理數(shù)據(jù)但是現(xiàn)有的經(jīng)營(yíng)分析工具(如Tableau、Microstrategy等。)往往有很大的局限性，比如橫向擴(kuò)展困難，無(wú)法處理超大規(guī)模數(shù)據(jù)，缺乏Hadoop的知識(shí)。但是用Hadoop來(lái)分析數(shù)據(jù)還是有很多障礙。比如大部分分析師只習(xí)慣使用SQL，Hadoop很難實(shí)現(xiàn)快速交互查詢(xún)。

ApacheKylin，中文名神獸，是Hadoop動(dòng)物園的重要成員。ApacheKylin是開(kāi)源的分布式分析引擎，最初由易貝開(kāi)發(fā)，貢獻(xiàn)給開(kāi)源 community。提供基于Hadoop的SQL查詢(xún)接口和多維分析(OLAP)能力，支持大規(guī)模數(shù)據(jù)，可以處理TB甚至PB級(jí)的分析任務(wù)，可以查詢(xún)亞秒級(jí)的龐大蜂巢表，支持高并發(fā)。

在考慮Hadoop生態(tài)系統(tǒng)中的各種引擎時(shí)，了解每個(gè)引擎在某些用例中工作得最好是很重要的，企業(yè)可能需要使用各種工具組合來(lái)滿(mǎn)足每個(gè)所需的用例。話雖如此，這里還是回顧一下ApacheSpark的一些頂級(jí)用例。1.Stream 數(shù)據(jù)Apache park的關(guān)鍵用例是它處理Stream數(shù)據(jù)的能力。因?yàn)槊刻於加写罅康臄?shù)據(jù)被處理，所以數(shù)據(jù)的實(shí)時(shí)流和分析對(duì)公司來(lái)說(shuō)變得非常重要。

一些專(zhuān)家甚至認(rèn)為Spark可以成為流計(jì)算應(yīng)用程序的首選平臺(tái)，無(wú)論其類(lèi)型如何。之所以有這個(gè)要求，是因?yàn)镾parkStreaming統(tǒng)一了不同的數(shù)據(jù)處理函數(shù)，這樣開(kāi)發(fā)者就可以用一個(gè)單一的框架來(lái)滿(mǎn)足他們所有的處理需求，在當(dāng)今企業(yè)中使用火花流的一般方法包括:1 .流式ETL——在數(shù)據(jù) warehouse環(huán)境中用于批處理的傳統(tǒng)ETL(提取、轉(zhuǎn)換和加載)工具必須讀取數(shù)據(jù)，將其轉(zhuǎn)換為數(shù)據(jù) library兼容的格式，然后寫(xiě)入目標(biāo)。