大數(shù)據(jù)本身就是一個抽象的概念。一般來說，大數(shù)據(jù)是指在有限的時間內(nèi)，常規(guī)軟件工具無法獲取、存儲、管理和處理的數(shù)據(jù)集合。目前業(yè)內(nèi)對大數(shù)據(jù)沒有統(tǒng)一的定義，但普遍認為大數(shù)據(jù)具有體量、速度、多樣性和價值四大特征，簡稱“4V”，即數(shù)據(jù)量巨大、數(shù)據(jù)速度快、數(shù)據(jù)類型多樣、數(shù)據(jù)價值密度低，如圖1所示。

1)體量:代表大數(shù)據(jù)的數(shù)據(jù)體量巨大。數(shù)據(jù)收集的規(guī)模一直在擴大，從GB到TB，再到PB。近年來，數(shù)據(jù)量甚至開始由EB和ZB統(tǒng)計。比如一個中等城市的視頻監(jiān)控信息，一天可以達到幾十TB的數(shù)據(jù)量。百度首頁導航每天需要提供15PB以上的數(shù)據(jù)。這些數(shù)據(jù)如果打印出來，將超過5000億張A4紙。圖2顯示了互聯(lián)網(wǎng)每分鐘產(chǎn)生的各種數(shù)據(jù)量。

大數(shù)據(jù)技術(shù)專業(yè)以統(tǒng)計學、數(shù)學、計算機為三大支撐學科；生物學、醫(yī)學、環(huán)境科學、經(jīng)濟學、社會學和管理學是應用和擴展學科。此外，還需要學習數(shù)據(jù)采集、分析處理軟件、數(shù)學建模軟件和計算機編程語言。1.大數(shù)據(jù)技術(shù)主要課程有:編程基礎、Python編程、數(shù)據(jù)分析基礎、Linux操作系統(tǒng)、Python爬蟲技術(shù)、Python數(shù)據(jù)分析、Java編程、Hadoop大數(shù)據(jù)。

大數(shù)據(jù)技術(shù)主要包括數(shù)據(jù)采集與預處理、數(shù)據(jù)存儲與管理、數(shù)據(jù)處理以及分析、數(shù)據(jù)結(jié)果呈現(xiàn)等方面。1.數(shù)據(jù)采集和預處理在大數(shù)據(jù)的生命周期中，數(shù)據(jù)采集處于第一個環(huán)節(jié)。使用ETL工具，將分布式、異構(gòu)數(shù)據(jù)源中的數(shù)據(jù)提取到臨時中間層，經(jīng)過清洗、轉(zhuǎn)換和集成，最終加載到數(shù)據(jù)倉庫或數(shù)據(jù)集市進行實時處理和分析。2.數(shù)據(jù)存儲和管理對于收集的不同數(shù)據(jù)集，可能有不同的結(jié)構(gòu)和模式，如文件和關(guān)系表。需要使用分布式文件系統(tǒng)、數(shù)據(jù)倉庫和云數(shù)據(jù)庫來實現(xiàn)半結(jié)構(gòu)化、結(jié)構(gòu)化和非結(jié)構(gòu)化海量數(shù)據(jù)的存儲和管理。

目前很多人對大數(shù)據(jù)分析感興趣，那么什么是大數(shù)據(jù)分析呢？大數(shù)據(jù)分析是指對海量數(shù)據(jù)的分析。大數(shù)據(jù)有四個顯著特征:海量數(shù)據(jù)、快速性、多樣性和真實數(shù)據(jù)。大數(shù)據(jù)被譽為當今最具潛力的IT詞匯，圍繞大數(shù)據(jù)商業(yè)價值的數(shù)據(jù)挖掘、數(shù)據(jù)安全、數(shù)據(jù)分析、數(shù)據(jù)存儲等后續(xù)運用逐漸成為行業(yè)人士追捧的利潤焦點。大數(shù)據(jù)分析有哪些類型？

2.人工生成的數(shù)據(jù)非結(jié)構(gòu)化數(shù)據(jù)廣泛存在于電子郵件、文檔、圖片、音頻、視頻以及通過博客、維基(尤其是社交媒體)生成的數(shù)據(jù)流中。這些數(shù)據(jù)為使用文本分析功能進行分析提供了豐富的數(shù)據(jù)來源，3.可上網(wǎng)的MOBILEDATA智能手機和平板電腦越來越普遍。