Big 數(shù)據(jù)技術(shù)與應(yīng)用半個(gè)世紀(jì)以來，隨著計(jì)算機(jī)技術(shù)全面融入社會(huì)生活，信息爆炸已經(jīng)積累到了開始引發(fā)變革的地步。21世紀(jì)是信息發(fā)展的時(shí)代。移動(dòng)互聯(lián)網(wǎng)、社交網(wǎng)絡(luò)和電子商務(wù)極大地拓展了互聯(lián)網(wǎng)的邊界和應(yīng)用范圍，各種數(shù)據(jù)正在迅速擴(kuò)大和變大?；ヂ?lián)網(wǎng)(社交、搜索、電子商務(wù))、移動(dòng)互聯(lián)網(wǎng)(微博)、物聯(lián)網(wǎng)(傳感器、智慧地球)、車聯(lián)網(wǎng)、GPS、醫(yī)學(xué)影像、安防監(jiān)控、金融(銀行、股市、保險(xiǎn))、電信(電話、短信)都在應(yīng)運(yùn)而生數(shù)據(jù)。

正如《紐約時(shí)報(bào)》在2012年2月的一篇專欄文章中所說，“大數(shù)據(jù)”的時(shí)代已經(jīng)到來。在商業(yè)、經(jīng)濟(jì)等領(lǐng)域，會(huì)根據(jù)數(shù)據(jù)和分析做出決定，而不是根據(jù)經(jīng)驗(yàn)和直覺。哈佛大學(xué)社會(huì)學(xué)教授加里？金說:“這是一場(chǎng)革命。龐大的/123，456，789-2/資源已經(jīng)開啟了各領(lǐng)域的量化進(jìn)程，所有領(lǐng)域，無論是學(xué)術(shù)、商業(yè)還是政府，都將開啟這一進(jìn)程?！倍?、什么是big數(shù)據(jù)big數(shù)據(jù)(BigData)是指那些超過傳統(tǒng)的數(shù)據(jù) library系統(tǒng)處理能力的。

Da 數(shù)據(jù)研制中涉及的關(guān)鍵技術(shù):Da 數(shù)據(jù)采集技術(shù)數(shù)據(jù)采集技術(shù)指RFID 數(shù)據(jù)傳感器-2。大數(shù)據(jù)預(yù)處理技術(shù)大數(shù)據(jù)預(yù)處理技術(shù)主要是指對(duì)接收到的數(shù)據(jù)進(jìn)行分析、提取、清洗、填充、平滑、歸并、歸一化、一致性檢查等操作。存儲(chǔ)和管理的主要目的是將收集到的數(shù)據(jù)用內(nèi)存存儲(chǔ)起來，建立相應(yīng)的數(shù)據(jù)庫，并對(duì)其進(jìn)行管理和調(diào)用。

批處理是先存儲(chǔ)后處理，流處理是直接處理。Da 數(shù)據(jù)分析與挖掘技術(shù)Da 數(shù)據(jù)加工的核心是分析Da 數(shù)據(jù)。只有通過分析，才能獲得大量智能的、深入的、有價(jià)值的信息。在數(shù)據(jù)展技時(shí)代，數(shù)據(jù)如井噴般增長(zhǎng)。分析師對(duì)這些巨大的數(shù)據(jù)，進(jìn)行總結(jié)分析，如果分析出來的結(jié)果是密密麻麻的話，很少有人能做到。

深圳元彪回答你的問題從分類到選擇數(shù)據(jù)-2/solution方案如果你花太多時(shí)間研究數(shù)據(jù)solution方案。本系列將介紹找到符合您需求的big數(shù)據(jù)solution方案所涉及的主要步驟。首先介紹一下“Da 數(shù)據(jù)”這個(gè)術(shù)語所描述的數(shù)據(jù)的類型。為了簡(jiǎn)化各類大型數(shù)據(jù)的復(fù)雜性，我們根據(jù)各種參數(shù)對(duì)大型數(shù)據(jù)進(jìn)行分類，為任何大型數(shù)據(jù)solution方案所涉及的所有層和高級(jí)組件提供一個(gè)邏輯框架。

常用的數(shù)據(jù)Solution方案包括以下幾類:1。Hadoop。Hadoop是一個(gè)可以分發(fā)大量數(shù)據(jù)的軟件框架。但是Hadoop是以一種可靠、高效和可擴(kuò)展的方式處理的。另外，Hadoop依賴于社區(qū)服務(wù)器，所以成本相對(duì)較低，任何人都可以使用。第二，HPCC。HPCC，高性能計(jì)算和通信的縮寫。

第三，風(fēng)暴。Storm是一個(gè)免費(fèi)的開源軟件，一個(gè)分布式和容錯(cuò)的實(shí)時(shí)計(jì)算系統(tǒng)。Storm可以非?？煽康靥幚砭薮蟮臄?shù)據(jù) stream，用于處理Hadoop 數(shù)據(jù)的批處理。Storm支持許多編程語言，使用起來非常有趣。Storm來自Twitter開源。第四，ApacheDrill。

說到數(shù)據(jù)中心的“綠化”，人們更多的會(huì)談到動(dòng)態(tài)功率調(diào)節(jié)、水冷機(jī)柜、服務(wù)器擺放等因素硬件。實(shí)際上，軟件是數(shù)據(jù)中心綠化方案的大腦和靈魂。張斌是北京一家網(wǎng)絡(luò)數(shù)據(jù)中心的CIO。每年夏天，他都會(huì)被機(jī)房服務(wù)器頻繁停機(jī)和巨額電費(fèi)壓得喘不過氣來。張斌所在企業(yè)的數(shù)據(jù) center有一個(gè)機(jī)房，有50個(gè)機(jī)柜，大概能裝500臺(tái)服務(wù)器。前期投入建設(shè)成本近400萬元(不含服務(wù)器)，但平均每個(gè)機(jī)柜每月電費(fèi)高達(dá)1500元，僅年電費(fèi)支出就達(dá)90多萬元，占機(jī)柜總運(yùn)營(yíng)成本的1/4。在夏天，這個(gè)數(shù)字甚至更高。

Gartner預(yù)測(cè)，到2008年底，全球近一半的數(shù)據(jù)中心將沒有足夠的能源和冷卻設(shè)備來支持高密度的服務(wù)器和存儲(chǔ)設(shè)備，到2011年，超過三分之一的數(shù)據(jù)中心預(yù)算將是環(huán)境成本。“因?yàn)楣╇姴蛔?，北京網(wǎng)通的皂君廟機(jī)房無法擴(kuò)建，租機(jī)架的收入大部分用來交電費(fèi)。