1。需要有應(yīng)用數(shù)學(xué)、統(tǒng)計(jì)學(xué)、數(shù)量經(jīng)濟(jì)學(xué)的學(xué)士或碩士學(xué)位。2.精通至少一種數(shù)據(jù)分析軟件，如SPSS，STATISTIC，Eviews和SAS。3.至少會(huì)使用Acess進(jìn)行數(shù)據(jù)庫(kù)開(kāi)發(fā)；4.掌握至少一個(gè)數(shù)學(xué)軟件:matalab和mathmatics，建立新的模型。5.掌握至少一門(mén)編程語(yǔ)言；6.當(dāng)然，我們還需要其他應(yīng)用領(lǐng)域的知識(shí)，比如市場(chǎng)營(yíng)銷和經(jīng)濟(jì)統(tǒng)計(jì)，因?yàn)檫@是數(shù)據(jù)分析的主要應(yīng)用領(lǐng)域。

1?？梢暬治龃髷?shù)據(jù)分析的用戶包括大數(shù)據(jù)分析專家和普通用戶，但他們對(duì)大數(shù)據(jù)分析最基本的要求是可視化分析，因?yàn)榭梢暬治隹梢灾庇^地呈現(xiàn)大數(shù)據(jù)的特點(diǎn)，同時(shí)也容易被讀者接受，就像看圖說(shuō)話一樣。2.數(shù)據(jù)挖掘算法大數(shù)據(jù)分析的理論核心是數(shù)據(jù)挖掘算法。各種數(shù)據(jù)挖掘算法可以基于不同的數(shù)據(jù)類型和格式更科學(xué)地呈現(xiàn)數(shù)據(jù)本身的特征，也正是因?yàn)檫@些被全世界統(tǒng)計(jì)學(xué)家認(rèn)可的各種各樣的統(tǒng)計(jì)方法(可以稱之為真理)，才能深入數(shù)據(jù)，挖掘出公認(rèn)的價(jià)值。

Hive的核心工作是將SQL語(yǔ)句翻譯成MR程序，MR程序可以將結(jié)構(gòu)化數(shù)據(jù)映射成數(shù)據(jù)庫(kù)表，并提供HQL(HiveSQL)查詢功能。Hive本身并不存儲(chǔ)和計(jì)算數(shù)據(jù)，它完全依賴于HDFS和MapReduce。Hive是為大數(shù)據(jù)批量處理而生的，它的出現(xiàn)解決了傳統(tǒng)關(guān)系數(shù)據(jù)庫(kù)(MySql、Oracle)在大數(shù)據(jù)處理上的瓶頸。Hive將執(zhí)行計(jì)劃分為map > shuffle > reduce > map > shuffle > reduce…模型。

使用Impala實(shí)現(xiàn)SQLonHadoop進(jìn)行大數(shù)據(jù)的實(shí)時(shí)查詢和分析。Hive適合長(zhǎng)時(shí)間批量查詢分析，Impala適合實(shí)時(shí)交互式SQL查詢。Impala為數(shù)據(jù)人員提供了一個(gè)大數(shù)據(jù)分析工具，可以快速實(shí)驗(yàn)和驗(yàn)證他們的想法?？梢韵扔肏ive進(jìn)行數(shù)據(jù)轉(zhuǎn)換，然后在Hive處理的數(shù)據(jù)集上用Impala進(jìn)行快速數(shù)據(jù)分析。

越來(lái)越多的應(yīng)用涉及大數(shù)據(jù)。這些大數(shù)據(jù)的屬性，包括數(shù)量、速度、多樣性，都顯示了大數(shù)據(jù)日益增長(zhǎng)的復(fù)雜性。所以大數(shù)據(jù)的分析方法在大數(shù)據(jù)領(lǐng)域尤為重要，可以說(shuō)是決定最終信息是否有價(jià)值的決定性因素?；诖?，大數(shù)據(jù)分析的方法和理論有哪些？大數(shù)據(jù)分析的五個(gè)基本方面PredictiveAnalyticCapabilities數(shù)據(jù)挖掘可以讓分析師更好地理解數(shù)據(jù)，而預(yù)測(cè)分析可以根據(jù)可視化分析和數(shù)據(jù)挖掘的結(jié)果做出一些預(yù)測(cè)性的判斷。

通過(guò)標(biāo)準(zhǔn)化流程和工具處理數(shù)據(jù)可以確保預(yù)定義的高質(zhì)量分析結(jié)果。數(shù)據(jù)可視化是數(shù)據(jù)分析專家和普通用戶對(duì)數(shù)據(jù)分析工具的最基本要求。可視化可以直觀地展示數(shù)據(jù)，讓數(shù)據(jù)自己說(shuō)話，讓受眾聽(tīng)到結(jié)果。

大數(shù)據(jù)分析的前瞻性導(dǎo)致了很多公司和企業(yè)使用大數(shù)據(jù)分析來(lái)幫助公司決策，而大數(shù)據(jù)分析就是分析海量數(shù)據(jù)，所以我們要使用一些工具來(lái)分析大數(shù)據(jù)。一般來(lái)說(shuō)，數(shù)據(jù)分析有很多層次，分別是數(shù)據(jù)存儲(chǔ)層、數(shù)據(jù)報(bào)表層、數(shù)據(jù)分析層和數(shù)據(jù)表示層。在不同的層面上有不同的工具。下面小編就給大家好好介紹一下大數(shù)據(jù)分析工具。

在分析數(shù)據(jù)的時(shí)候，我們首先需要存儲(chǔ)數(shù)據(jù)，數(shù)據(jù)存儲(chǔ)是一件非常重要的事情。如果我們了解數(shù)據(jù)庫(kù)技術(shù)，并且能夠很好的操作，就可以提高數(shù)據(jù)分析的效率。數(shù)據(jù)存儲(chǔ)的工具主要有以下幾種。1.MySQL數(shù)據(jù)庫(kù)，部門(mén)或互聯(lián)網(wǎng)數(shù)據(jù)庫(kù)應(yīng)用必備。這時(shí)，掌握數(shù)據(jù)庫(kù)結(jié)構(gòu)和SQL語(yǔ)言的數(shù)據(jù)查詢能力就至關(guān)重要了。2，最新版本的SQLServer，針對(duì)中小企業(yè)，一些大型企業(yè)也可以使用SQLServer數(shù)據(jù)庫(kù)。其實(shí)這次除了數(shù)據(jù)存儲(chǔ)，還包括數(shù)據(jù)報(bào)表和數(shù)據(jù)分析，甚至數(shù)據(jù)挖掘工具也包括在內(nèi)。

作為數(shù)據(jù)分析師，您首先需要從正在查詢的數(shù)據(jù)庫(kù)中讀取數(shù)據(jù)。我們通常采用這種方法:理解SELECT語(yǔ)句是如何工作的。這包括研究邏輯查詢處理的工作模式。邏輯查詢處理描述了數(shù)據(jù)庫(kù)引擎執(zhí)行SELECT語(yǔ)句的子句的順序。了解它將指導(dǎo)您編寫(xiě)更好、更準(zhǔn)確的查詢。研究連接的工作模式是最有效的。左、右和全外連接效率很低，但有時(shí)必須使用。

研究加入，所以你知道什么時(shí)候使用每種類型。只有最簡(jiǎn)單的數(shù)據(jù)庫(kù)查詢不涉及連接，了解如何使用GROUPBY子句進(jìn)行聚合。了解窗口函數(shù)/有序分析函數(shù)，這些都是SQL中分析的縮影。一開(kāi)始很難理解他們，但這是值得的，一旦你知道了它們，你就會(huì)一直使用它們。了解數(shù)據(jù)庫(kù)標(biāo)準(zhǔn)化，如果你理解了標(biāo)準(zhǔn)化，你就會(huì)理解為什么架構(gòu)師要這樣構(gòu)造數(shù)據(jù)庫(kù)的理論。