因為數(shù)據(jù)本身的價值并不是直接可見的，而是通過各種數(shù)據(jù)計算和分析，從數(shù)據(jù)中提取出人們注意不到的信息來創(chuàng)造價值。這也是企業(yè)思考搭建Da數(shù)據(jù)分析-2/的原因。每天，內(nèi)部的運營支撐系統(tǒng)和與客戶的外部交互系統(tǒng)都會產(chǎn)生大量的數(shù)據(jù)。如何利用這些數(shù)據(jù)為企業(yè)內(nèi)部和外部客戶提供具有巨大商業(yè)價值的信息支持和智能解決方案，已經(jīng)成為企業(yè)重要的無形資產(chǎn)。

總體來說，部署大數(shù)據(jù)平臺 from 平臺和數(shù)據(jù)分析的過程可以分為以下幾個步驟:1 .linux系統(tǒng)安裝一般使用開源版本的Redhat system CentOS作為底層平臺。為了提供穩(wěn)定的硬件基礎(chǔ)，在制作RAID和掛載數(shù)據(jù)存儲節(jié)點時，需要根據(jù)情況配置硬盤。比如可以選擇制作HDFS NameNode的RAID2來提高其穩(wěn)定性，將數(shù)據(jù)存儲和操作系統(tǒng)放在不同的硬盤上，保證操作系統(tǒng)的正常運行。

Hadoop的核心是HDFS，一個分布式文件系統(tǒng)。在它的基礎(chǔ)上，常用的組件有Yarn、Zookeeper、Hive、Hbase、Sqoop、Impala、ElasticSearch、Spark等。先說使用開源組件的好處:1)用戶多，很多bug可以在線解答(這往往是開發(fā)中最耗時的地方)。2)開源組件一般都是免費的，學習和維護相對方便。

在5、如何 搭建基于Hadoop的大數(shù)據(jù) 平臺

Hadoop中添加多個數(shù)據(jù)集的方法有很多。MapReduce提供了映射端和Reduce端之間的數(shù)據(jù)連接。這些連接是非常特殊的連接，并且可能是非常昂貴的操作。Pig和Hive也具有相同的申請連接多個數(shù)據(jù)集的能力。Pig提供復制連接、合并連接和傾斜連接，Hive提供地圖端連接和完全外部連接來分析數(shù)據(jù)。

至于分析Hadoop中的大量數(shù)據(jù)，Anoop指出，一般來說，在大數(shù)據(jù)/Hadoop的世界中，有些問題可能并不復雜，解決方案也很簡單，但挑戰(zhàn)在于數(shù)據(jù)量。在這種情況下，需要不同的解決方案來解決問題。一些分析任務是從日志文件中統(tǒng)計清除id的數(shù)量，轉(zhuǎn)換特定日期范圍內(nèi)的存儲數(shù)據(jù)，以及對網(wǎng)民進行排名。所有這些任務都可以通過Hadoop中的各種工具和技術(shù)來解決，比如MapReduce、Hive、Pig、Giraph和Mahout。

PetaBaseV作為Vertica基于宜信的分析產(chǎn)品定制版，提供大數(shù)據(jù)實時分析服務。它采用MPP，可以線性擴展集群的計算能力和數(shù)據(jù)處理能力。PetaBaseV基于列數(shù)據(jù)庫技術(shù)，具有高性能、高擴展性、高壓縮率、高健壯性的特點，能夠完美解決報表計算速度慢、數(shù)據(jù)查詢詳細等性能問題。大數(shù)據(jù)實時分析平臺(以下簡稱PBS)旨在提供端到端的實時數(shù)據(jù)處理能力(毫秒/秒/分鐘延遲)，能夠從多個數(shù)據(jù)源提取實時數(shù)據(jù)，為多數(shù)據(jù)應用場景提供實時數(shù)據(jù)消費。