國內(nèi)有多少公司在做大數(shù)據(jù)平臺？哪個更好？現(xiàn)在很多公司都想擁有自己的移動app，但企業(yè)主最困惑的問題是:開發(fā)一個移動app要多少錢？簡單來說，根據(jù)手機(jī)app的需求和質(zhì)量，價格一般在幾千到幾十萬左右，高端的價格更高。今天我們就來詳細(xì)分析一下這個問題。請繼續(xù)讀下去。1.APP開發(fā)風(fēng)格分為固定模式和定制模式，兩者價格不同。固定模式是指直接應(yīng)用現(xiàn)有的、現(xiàn)成的APP固定模板。報價是固定的，所需功能也是固定的。缺點(diǎn)是客戶拿不到源代碼，無法根據(jù)企業(yè)需求定制。因為源代碼是封裝的，如果企業(yè)以后想升級功能或者維護(hù)系統(tǒng)，只能開發(fā)一個新的軟件。

討論了各種軟件系統(tǒng)的幾種數(shù)據(jù)采集方法。重點(diǎn)介紹它們的實現(xiàn)過程，各自的優(yōu)缺點(diǎn)。軟件接口對接模式開放數(shù)據(jù)庫模式基于底層數(shù)據(jù)交換的直接數(shù)據(jù)采集模式1。軟件接口對接模式各軟件廠商提供數(shù)據(jù)接口，實現(xiàn)數(shù)據(jù)采集，為客戶搭建自己的業(yè)務(wù)大數(shù)據(jù)平臺；接口對接模式的數(shù)據(jù)可靠性高，一般不存在數(shù)據(jù)重復(fù)，都是客戶業(yè)務(wù)大數(shù)據(jù)平臺需要的有價值的數(shù)據(jù)；同時通過接口實時傳輸數(shù)據(jù)，完全滿足大數(shù)據(jù)平臺的實時性要求。

在6、如何搭建基于Hadoop的大數(shù)據(jù)平臺

Hadoop中添加多個數(shù)據(jù)集的方法有很多。MapReduce提供了映射端和Reduce端之間的數(shù)據(jù)連接。這些連接是非常特殊的連接，并且可能是非常昂貴的操作。Pig和Hive也具有相同的申請連接多個數(shù)據(jù)集的能力。Pig提供復(fù)制連接、合并連接和傾斜連接，Hive提供地圖端連接和完全外部連接來分析數(shù)據(jù)。

至于分析Hadoop中的大量數(shù)據(jù)，Anoop指出，一般來說，在大數(shù)據(jù)/Hadoop的世界中，有些問題可能并不復(fù)雜，解決方案也很簡單，但挑戰(zhàn)在于數(shù)據(jù)量。在這種情況下，需要不同的解決方案來解決問題。一些分析任務(wù)是從日志文件中統(tǒng)計清除id的數(shù)量，轉(zhuǎn)換特定日期范圍內(nèi)的存儲數(shù)據(jù)，以及對網(wǎng)民進(jìn)行排名。所有這些任務(wù)都可以通過Hadoop中的各種工具和技術(shù)來解決，比如MapReduce、Hive、Pig、Giraph和Mahout。

“構(gòu)建一個大數(shù)據(jù)系統(tǒng)，需要對數(shù)據(jù)流從源頭一直追溯到最終有價值的輸出，并根據(jù)實際需求在現(xiàn)有的Hadoop和大數(shù)據(jù)生態(tài)系統(tǒng)中選擇和整合合適的組件，構(gòu)建一個能夠支持多種查詢和分析功能的系統(tǒng)平臺。這不僅包括數(shù)據(jù)存儲的選擇，還包括數(shù)據(jù)線上和數(shù)據(jù)線下處理的考慮和權(quán)衡。此外，沒有任何引入大數(shù)據(jù)解決方案的商業(yè)應(yīng)用會給生產(chǎn)環(huán)境帶來安全風(fēng)險。

因此，大數(shù)據(jù)技術(shù)為實用服務(wù)是有意義的。一般來說，大數(shù)據(jù)可以從以下三個方面引導(dǎo)人們做出有價值的決策:報告生成(如基于用戶歷史點(diǎn)擊行為的跟蹤和綜合分析、應(yīng)用活躍度和用戶粘性計算等。);診斷分析(例如，分析用戶粘性下降的原因，根據(jù)日志分析系統(tǒng)性能下降的原因，檢測垃圾郵件和病毒的特征等。);決策(如個性化新聞閱讀或歌曲推薦，預(yù)測添加哪些功能增加用戶粘性，幫助廣告主精準(zhǔn)投放廣告，設(shè)置垃圾郵件和病毒攔截策略等。).

大數(shù)據(jù)調(diào)度系統(tǒng)是整個離線批處理任務(wù)和準(zhǔn)實時計算任務(wù)的驅(qū)動者。在這里，我對幾種常見的調(diào)度系統(tǒng)進(jìn)行了分類總結(jié)，并與阿里云上MaxCompute中的調(diào)度系統(tǒng)進(jìn)行了對比。Oozie是一個工作流(workflow)協(xié)調(diào)系統(tǒng)，由Cloudera公司貢獻(xiàn)給Apache，主要用于管理Hadoop作業(yè)。mr任務(wù)啟動，JavaMR，StreamingMR，Pig，Hive，Sqoop，Spark，Shell等的統(tǒng)一調(diào)度。常見于hadoop系統(tǒng)。

旅游行業(yè)具有行業(yè)廣、規(guī)模大、流動性強(qiáng)的特點(diǎn)，對大數(shù)據(jù)的依賴程度更高。目前，旅游業(yè)也迎來了“新常態(tài)”下升級的挑戰(zhàn)和變革的機(jī)遇，新常態(tài)是經(jīng)濟(jì)增長放緩，一般經(jīng)濟(jì)部門人均GDP增速下降。許多傳統(tǒng)行業(yè)正在調(diào)整結(jié)構(gòu)，但旅游業(yè)的新常態(tài)正在加速，旅游大數(shù)據(jù)的解決方案是整合國內(nèi)多渠道大數(shù)據(jù)源，形成旅游大數(shù)據(jù)生態(tài)，為國內(nèi)旅游提供大數(shù)據(jù)解決方案。