其實(shí)我們每天的作息時(shí)間可以改成數(shù)據(jù):每天坐地鐵上班就是一趟數(shù)據(jù)；網(wǎng)購(gòu)屬于消費(fèi)數(shù)據(jù)；去外國(guó)旅行屬于娛樂(lè)數(shù)據(jù)...當(dāng)無(wú)數(shù)人的數(shù)據(jù)分組歸類后，統(tǒng)稱為“Da 數(shù)據(jù)”。這些數(shù)據(jù)，有什么用？對(duì)于大多數(shù)人來(lái)說(shuō)，它沒(méi)有任何價(jià)值。每天逛樓下的早餐店，只能看到自己的消費(fèi)金額，店家可以統(tǒng)計(jì)客流量和銷量，得到顧客的喜好，然后調(diào)整食材的用量。

要理解“大”數(shù)據(jù)的概念，要從大說(shuō)起。大的指數(shù)據(jù) scale，大的數(shù)據(jù)一般指1024GB以上的。大數(shù)據(jù)不同于過(guò)去的海量數(shù)據(jù)，其基本特征可以用四個(gè)V(體量、品種、價(jià)值、速度)來(lái)概括，即體量大、多樣性、價(jià)值密度低、速度快。第一，數(shù)據(jù)巨大。從TB級(jí)跳到PB級(jí)。

第三，價(jià)值密度低。以視頻為例。在持續(xù)監(jiān)控的過(guò)程中，可能只有一兩秒鐘有用數(shù)據(jù)吧。第四，處理速度快。1第二定律。這最后一點(diǎn)也和傳統(tǒng)的數(shù)據(jù)挖礦技術(shù)有著本質(zhì)的區(qū)別。遍布全球的物聯(lián)網(wǎng)、云計(jì)算、移動(dòng)互聯(lián)網(wǎng)、車聯(lián)網(wǎng)、手機(jī)、平板電腦、PC、各種傳感器都是數(shù)據(jù)來(lái)源或承載模式。大數(shù)據(jù)技術(shù)是指從各種類型的巨大數(shù)據(jù)中快速獲取有價(jià)值信息的技術(shù)。

Traditional數(shù)據(jù)和Da 數(shù)據(jù)的區(qū)別首先，在Da 數(shù)據(jù)出現(xiàn)之前，計(jì)算機(jī)科學(xué)非常依賴模型和算法。人們要想得到準(zhǔn)確的結(jié)論，需要建立一個(gè)描述問(wèn)題的模型，同時(shí)需要理順邏輯，了解因果，設(shè)計(jì)精巧的算法，得出接近現(xiàn)實(shí)的結(jié)論。所以一個(gè)問(wèn)題能否得到最好的解決，取決于建模是否合理，各種算法的競(jìng)爭(zhēng)成為成敗的關(guān)鍵。但是Da 數(shù)據(jù)的出現(xiàn)徹底改變了人們對(duì)建模和算法的依賴。

在數(shù)據(jù)少量運(yùn)行時(shí)，算法A的結(jié)果明顯優(yōu)于算法b，也就是說(shuō)，就算法本身而言，算法A能帶來(lái)更好的結(jié)果；但是發(fā)現(xiàn)當(dāng)數(shù)據(jù)的量在增加時(shí)，算法B在數(shù)據(jù)大量運(yùn)行的結(jié)果要優(yōu)于算法A在數(shù)據(jù)少量運(yùn)行的結(jié)果。這一發(fā)現(xiàn)給計(jì)算機(jī)科學(xué)和計(jì)算機(jī)衍生科學(xué)都帶來(lái)了里程碑式的啟示:當(dāng)數(shù)據(jù)越來(lái)越大時(shí)，數(shù)據(jù)本身(而不是用來(lái)研究數(shù)據(jù))保證了數(shù)據(jù)分析結(jié)果的有效性。

large數(shù)據(jù)采集可以用octopus 采集 device實(shí)現(xiàn)。Octopus 采集 device是一款功能全面、操作簡(jiǎn)單、應(yīng)用廣泛的互聯(lián)網(wǎng)數(shù)據(jù)采集device?？梢詭椭脩艨焖僮ト』ヂ?lián)網(wǎng)上的各類數(shù)據(jù)包括文字、圖片、視頻等多種格式。Octopus 采集簡(jiǎn)單易用，完全可視化，無(wú)需編碼。內(nèi)置海量模板，支持任意網(wǎng)絡(luò)數(shù)據(jù) capture。如果您需要采集large數(shù)據(jù)，Octopus 采集 device可以為您提供智能識(shí)別和靈活定制采集規(guī)則設(shè)置，幫助您快速獲得所需的數(shù)據(jù)。

在轉(zhuǎn)換的過(guò)程中，數(shù)據(jù)需要根據(jù)具體的業(yè)務(wù)場(chǎng)景進(jìn)行管理，比如非法數(shù)據(jù)監(jiān)控過(guò)濾、格式轉(zhuǎn)換和數(shù)據(jù)標(biāo)準(zhǔn)化、數(shù)據(jù)替換和保證。2.實(shí)時(shí)采集:工具:Flume/Kafka；；實(shí)時(shí)采集主要用于考慮流處理的業(yè)務(wù)場(chǎng)景，例如用于記錄數(shù)據(jù) source的各種運(yùn)營(yíng)活動(dòng)，如網(wǎng)絡(luò)監(jiān)控的流量管理、金融應(yīng)用的股票核算以及web服務(wù)器記錄的用戶訪問(wèn)行為等。