我的崗位是Da 數(shù)據(jù)咨詢師，從事Da 數(shù)據(jù)行業(yè)多年，有十年IT行業(yè)經(jīng)驗(yàn)。大數(shù)據(jù)是一個統(tǒng)稱，是相對于小數(shù)據(jù)。比如數(shù)據(jù)以前存放在ORACLESQLMYSQL數(shù)據(jù)library基本都是幾十到幾百克，大部分都是結(jié)構(gòu)化。但是現(xiàn)在隨著互聯(lián)網(wǎng)的爆發(fā)，數(shù)據(jù)越來越大(從GB，TB，PB，ZB)，類型也越來越多(結(jié)構(gòu)化traditional數(shù)據(jù)library數(shù)據(jù)，half)。所以原來的數(shù)據(jù)庫技術(shù)已經(jīng)不能滿足需求，于是有了大數(shù)據(jù)。

大數(shù)據(jù)平臺可支持結(jié)構(gòu)化(常規(guī)數(shù)據(jù)庫存標(biāo)準(zhǔn)化數(shù)據(jù))、semi 結(jié)構(gòu)化(文檔、網(wǎng)頁、郵件)。2.計算能力?？芍С执笠?guī)模離線計算(PB級、億級數(shù)據(jù))和實(shí)時計算(低延遲毫秒級快速結(jié)果)。3.AI能力。它支持多種算法，如機(jī)器學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)，可以開發(fā)許多人工智能應(yīng)用程序。

Da 數(shù)據(jù)什么事？是一種運(yùn)營模式，一種能力，一種技術(shù)，還是數(shù)據(jù)的統(tǒng)稱？今天的“Da 數(shù)據(jù)”和傳統(tǒng)的“數(shù)據(jù)”有什么區(qū)別？Da 數(shù)據(jù)的來源有哪些？等一下。當(dāng)然，我不是專家學(xué)者，也無法給出一個讓大家信服的權(quán)威定義。下面我說的只是基于自己理解的總結(jié)，只是表達(dá)個人理解，不求全面權(quán)威。

1。教育大學(xué)源教育數(shù)據(jù)是一個超復(fù)雜的系統(tǒng)，涉及教學(xué)、管理、教研、服務(wù)等多項(xiàng)業(yè)務(wù)。與財務(wù)系統(tǒng)清晰、規(guī)范、一致的業(yè)務(wù)流程不同的是，不同地區(qū)、不同學(xué)校的教育業(yè)務(wù)雖然有一定的共性，但差異性也很突出，業(yè)務(wù)的差異直接導(dǎo)致教育來源更加多元化數(shù)據(jù)和收集更加復(fù)雜數(shù)據(jù)。大教育工程數(shù)據(jù)源于各種教育實(shí)踐活動，包括校園環(huán)境中的教學(xué)活動、管理活動、科研活動和校園生活，以及家庭、社區(qū)、博物館、圖書館等非正式環(huán)境中的學(xué)習(xí)活動。既包括線上教育教學(xué)活動，也包括線下教育教學(xué)活動。

根據(jù)來源和范圍的不同，教育可以分為個體教育、課程教育、班級教育和學(xué)校教育。二、教育大學(xué)的分類教育數(shù)據(jù)-1/有多種分類方式。數(shù)據(jù)產(chǎn)生的業(yè)務(wù)來源有教學(xué)數(shù)據(jù)、管理數(shù)據(jù)、科研數(shù)據(jù)、服務(wù)數(shù)據(jù)。

如何建立大數(shù)據(jù)大結(jié)構(gòu)數(shù)據(jù)各行各業(yè)的企業(yè)都提供了潛力。正確使用這些大的數(shù)據(jù)信息可以增加商業(yè)價值，幫助您的企業(yè)在市場競爭中脫穎而出。以下是幾個企業(yè)應(yīng)用Da 數(shù)據(jù)的成功案例:Da 數(shù)據(jù)汽車廠商已經(jīng)開始使用Da 數(shù)據(jù)來了解汽車何時需要還車廠保養(yǎng)。利用汽車發(fā)動機(jī)的數(shù)百個傳感器可以向汽車制造商發(fā)送實(shí)時數(shù)據(jù)信息，使他們甚至在駕駛員之前就知道汽車何時會發(fā)生故障。

零售業(yè)也開始越來越多的使用數(shù)據(jù)。鑒于越來越多的產(chǎn)品帶有RFID標(biāo)簽，零售商可以跟蹤產(chǎn)品，知道很少有產(chǎn)品缺貨，并及時向供應(yīng)商訂購新產(chǎn)品。沃爾瑪是正確使用Da 數(shù)據(jù)的一個很好的例子。當(dāng)零售商開始識別他們的客戶時，他們可以更好地建立商店，更好地滿足客戶的需求。當(dāng)然，這只是幾個簡單的例子，數(shù)據(jù)的可能性幾乎是無窮無盡的。

large數(shù)據(jù)(BigData)是指“現(xiàn)有軟件工具無法提取、存儲、搜索、共享、分析和處理的海量復(fù)雜數(shù)據(jù) set。”業(yè)界通常用四個V(即成交量、品種、價值、速度)來概括大數(shù)據(jù)的特征。一個是數(shù)據(jù)體量巨大。到目前為止，人類生產(chǎn)的所有印刷材料的數(shù)據(jù)的量是200PB(1PB210TB)，而歷史上人類說出的所有單詞的數(shù)據(jù)的量大約是5EB(1EB210PB)。

第二，數(shù)據(jù)綜藝。這種類型的多樣性也把數(shù)據(jù)分為結(jié)構(gòu)化-1/和非結(jié)構(gòu)化-1/。相對于過去容易存儲的-0 數(shù)據(jù)，現(xiàn)在的非結(jié)構(gòu)化 數(shù)據(jù)，包括網(wǎng)頁日志、音頻、視頻、圖片、地理位置信息等越來越多。這幾類/第三，價值密度低。值密度與數(shù)據(jù) total的大小成反比。

No結(jié)構(gòu)化Yes結(jié)構(gòu)化，這個思路是對的，否則沒有結(jié)構(gòu)化-1/就很難管理。但這不是數(shù)據(jù)挖礦的本質(zhì)，我對數(shù)據(jù) mining的理解，本質(zhì)上是對數(shù)據(jù)的歷史進(jìn)行分析，利用線性回歸等分析方案，找出不同數(shù)據(jù)劇集之間可能存在的關(guān)系。比如買紙尿褲的顧客一般都會買爽身粉，啤酒的銷量每年6月份最大，就是來一探/，非結(jié)構(gòu)化 結(jié)構(gòu)化只是大數(shù)據(jù)的前期準(zhǔn)備階段，發(fā)掘在已整理的數(shù)據(jù)集中，有價值的數(shù)據(jù)被提取出來。