請描述一下大數(shù)據(jù)三個平臺hadoop，這是支持Hadoop分布式計算的基礎(chǔ)，可以讓Hadoop系統(tǒng)高效處理大規(guī)模數(shù)據(jù)。如何為大型數(shù)據(jù)處理構(gòu)建高性能Hadoop集群在Hadoop中添加多個數(shù)據(jù)集的方法有很多，Big 數(shù)據(jù)的Hadoop是做什么的？hadoopHadoop的三個核心組件是HDFS、MapReduce和YARN。
1，rapidminer，是世界上比較先進的采礦解決方案。數(shù)據(jù)之所以會受到大家的尊重和認可，與其先進的技術(shù)有關(guān)。它涉及的范圍很廣，很多專家在采訪過程中都說過，它總是被用來簡化-第二，Hpcc是一個加速信息高速公路的計劃。據(jù)悉，該計劃共投入100億美元。之前研發(fā)的目的是開發(fā)可擴展的軟件和系統(tǒng)，希望發(fā)展千兆網(wǎng)絡技術(shù)。因其傳輸能力強，已應用于大數(shù)據(jù)的分析。
會說話，都是網(wǎng)上一個帖子就能上手的算法。基本可以半小時掌握一個崗位，練習兩個小時。他的視頻啰嗦了兩個小時，還是說不清楚。你還要再找半個小時的資料，練兩個小時，就是這個水平了。說到算法，常用的算法有中文分詞，自然語言處理，分類算法(NB，SVM)，推薦算法(基于CB，CF，歸一化，Mahout)，聚類算法(層次聚類，Kmeans)，回歸算法(LR，決策樹)，神經(jīng)網(wǎng)絡，深度學習。
在3、如何為大 數(shù)據(jù)處理構(gòu)建高性能Hadoop集群
Hadoop中添加多個數(shù)據(jù)集合的方法有很多。MapReduce在Map和Reduce之間提供了數(shù)據(jù)連接。這些連接是非常特殊的連接，并且可能是非常昂貴的操作。豬和蜂巢也有同樣的能力申請連接多個數(shù)據(jù)套。Pig提供復制連接、合并連接和skewedjoin連接，Hive提供map連接和完整外部連接給analyze 數(shù)據(jù)。
至于分析Hadoop中大量的數(shù)據(jù)，Anoop指出，一般來說，在big 數(shù)據(jù) Hadoop世界中，有些問題可能并不復雜，解決方案也很直接，但挑戰(zhàn)是數(shù)據(jù)quantity。在這種情況下，需要不同的解決方案來解決問題。一些分析任務是從日志文件中統(tǒng)計確定的id的數(shù)量，重建特定日期范圍內(nèi)存儲的數(shù)據(jù)，以及對網(wǎng)民進行排名等。所有這些任務都可以通過Hadoop中的各種工具和技術(shù)來解決，比如MapReduce、Hive、Pig、Giraph和Mahout。
