hadoop是一個基于Mapreduce框架的分布式平臺，一般安裝在Linex上，在windows下使用虛擬機也可以。一個分布式程序可以在多臺機器上生成多個節(jié)點，每個節(jié)點運行程序的一部分，然后合并，比單個節(jié)點效率高很多。推薦這本書“hadoop在行動”(hadoop實戰(zhàn))，有很多論文可以看數(shù)據(jù)挖掘大會論文?，F(xiàn)在很多人研究它。

看宜信ABI做的關(guān)聯(lián)案例銀行大學(xué)數(shù)據(jù)應(yīng)用國內(nèi)很多銀行已經(jīng)開始嘗試通過數(shù)據(jù)來帶動業(yè)務(wù)運營。比如中信銀行信用卡中心利用數(shù)據(jù)技術(shù)實現(xiàn)實時營銷。一般來說，銀行大學(xué)數(shù)據(jù)的申請可以分為四個方面:1。客戶畫像客戶畫像的應(yīng)用主要分為個人客戶畫像和企業(yè)客戶畫像。個人客戶畫像包括人口統(tǒng)計特征、消費能力數(shù)據(jù)、興趣數(shù)據(jù)、風(fēng)險偏好等。企業(yè)客戶畫像包括生產(chǎn)、流通、運營、財務(wù)、銷售和客戶數(shù)據(jù)，相關(guān)產(chǎn)業(yè)鏈上下游數(shù)據(jù)。

舉個例子，如果一個信用卡客戶一個月刷卡8次，平均每次刷卡金額800元，平均一年打4次客服電話，從未投訴過，按照傳統(tǒng)的數(shù)據(jù)分析，該客戶是一個滿意度高、流失風(fēng)險低的客戶。但如果看到客戶的微博，真實情況是:工資卡和信用卡不在同一家銀行，還款不方便?？蛻舻目头娫挃?shù)次未接通，客戶多次在微博投訴，客戶流失風(fēng)險較大。

基于Hadoop進行開發(fā)時，有時候會被Hadoop的運行模式所迷惑，分不清各種運行模式的區(qū)別，給日常開發(fā)帶來很多困惑，不同的集群配置文件也不一樣。要了解Hadoop的運行方式，以及它在配置文件中的作用，你必須頭腦清楚，這樣你才能在工作中取得成功。hadoop的配置文件都是用XML文件配置的，最常用的配置文件有四個，分別是:coresite.xml文件主要用于配置常用屬性。

mapredsite.xml文件用于配置Mapreduce的屬性。Yarnsite.xml文件用于配置yarn的屬性。一般來說，這四個配置文件存儲在hadoop默認安裝目錄etc/ hadoop子目錄中。但我們也可以在搭建集群時，根據(jù)實際需要，將etc/ hadoop目錄及其文件復(fù)制到另一個位置。這樣可以把配置文件和安裝文件分開，方便管理。

Hadoop是一個適合大型數(shù)據(jù)的分布式存儲和處理平臺，是一個開源的框架。1.搜索引擎(Hadoop的初衷是為大規(guī)模網(wǎng)頁快速建立索引)。2、大型數(shù)據(jù)存儲，采用Hadoop的分布式存儲能力，如數(shù)據(jù)備份、數(shù)據(jù)倉庫等。3、大型數(shù)據(jù)處理，利用Hadoop的分布式處理能力，如數(shù)據(jù)挖掘、數(shù)據(jù)分析等。4.Hadoop是一個分布式開源框架，對于分布式計算有很大的參考價值。

Da數(shù)據(jù)Analyze相關(guān)基礎(chǔ)解決方案主要包括Hadoop簡介、分析概述、基于MapReduce的處理、PythonHadoop科學(xué)計算與分析、RHadoop統(tǒng)計數(shù)據(jù)計算、Apache park批量分析、Apache park實時數(shù)據(jù)分析、Apache flick批量分析、Apache flick流、大型數(shù)據(jù)可視化技術(shù)簡介

接下來，我們將討論什么是Hadoop，以及Hadoop如何解決與Big 數(shù)據(jù)相關(guān)的問題。我們還將研究CERN 案例在之前的博客“Da 數(shù)據(jù)教程”中，我們已經(jīng)詳細討論了Da 數(shù)據(jù)和Da 數(shù)據(jù)的挑戰(zhàn)。在這個博客中，我們將討論:1。傳統(tǒng)方法的問題。Hadoop 3的演進。Hadoop 4。面向Hadoop 5的即用型解決方案。什么時候用Hadoop？

Da 數(shù)據(jù)數(shù)量眾多，格式多樣。大量數(shù)據(jù)由家庭、制造工廠和辦公室、互聯(lián)網(wǎng)交易、社交網(wǎng)絡(luò)活動、自動化傳感器、移動設(shè)備和科研儀器中的各種設(shè)備產(chǎn)生。其爆炸式的增長已經(jīng)超過了傳統(tǒng)IT基礎(chǔ)設(shè)施的處理能力，給企業(yè)和社會帶來了嚴峻的數(shù)據(jù)管理問題。因此，需要開發(fā)新的數(shù)據(jù)架構(gòu)，開發(fā)和使用這些數(shù)據(jù)集合、數(shù)據(jù)管理、數(shù)據(jù)分析、知識形成和智能行動。

隨著科技的發(fā)展，人們已經(jīng)能夠制造出具有處理功能的極其微小的傳感器，并開始將這些設(shè)備廣泛地布置在社會的各個角落，通過這些設(shè)備來監(jiān)控整個社會的運行。這些設(shè)備會不斷生成新的數(shù)據(jù)，這個數(shù)據(jù)生成方法是自動的，所以在數(shù)據(jù)收集方面，要從網(wǎng)絡(luò)上，包括物聯(lián)網(wǎng)、社交網(wǎng)絡(luò)、機構(gòu)信息系統(tǒng)等，給數(shù)據(jù)附上時間和空間的標記，去偽存真，盡可能多的收集不同的來源，甚至是異構(gòu)的數(shù)據(jù)，必要時還可以和歷史。