從預(yù)測到實測:Da數(shù)據(jù)Commercial建模Da數(shù)據(jù)Commercial建模的新發(fā)展方向是什么？如何預(yù)測Da 數(shù)據(jù)的獨特優(yōu)勢？從預(yù)測到“實地測量”是如何實現(xiàn)的？首席模型科學(xué)家陳雨欣教授給我們做了更深入的講解，從預(yù)測到“現(xiàn)測”:Da數(shù)據(jù)Business建模的新進展。以下是陳雨欣教授在2015%大學(xué)數(shù)據(jù)操作系統(tǒng)(BDOS)及D輪融資大會上的演講摘錄:謝謝大家，謝謝大家！

眾所周知，預(yù)測是商業(yè)應(yīng)用的一個核心，預(yù)測需要大量高質(zhì)量的數(shù)據(jù) plus非常高級的模型。當(dāng)前形勢下預(yù)測領(lǐng)域的新熱點或新發(fā)展方向是什么？如何通過預(yù)測真正發(fā)揮Da 數(shù)據(jù)的獨特優(yōu)勢？這就是我想分享的。在此之前，我先介紹一下最近媒體的兩則新聞報道，從中或許可以看出一些新的發(fā)展趨勢。這兩條新聞都發(fā)表在8月份的《華爾街日報》上。

1、思維方式變革的催化劑是大量新技術(shù)的誕生，可以應(yīng)對大數(shù)據(jù)分析帶來的“三個v”的挑戰(zhàn)。根植于開源社區(qū)，Hadoop一直是大型數(shù)據(jù)平臺中應(yīng)用率最高的技術(shù)，尤其是對于非結(jié)構(gòu)化數(shù)據(jù)如文本、社交媒體訂閱和視頻。2.除了分布式文件系統(tǒng)，Hadoop還附帶了MapReduce架構(gòu)，用于大型數(shù)據(jù) set處理。據(jù)權(quán)威報道，許多企業(yè)已經(jīng)開始使用或評估Hadoop技術(shù)作為其大型數(shù)據(jù)平臺的標(biāo)準(zhǔn)。

事實上，NoSQL 數(shù)據(jù) library本身在廣泛的派別基礎(chǔ)上包含了幾種技術(shù)。4.一般來說，他們關(guān)注的是關(guān)系型數(shù)據(jù)Library引擎的限制，比如索引、流媒體、高流量的網(wǎng)站服務(wù)等。在這些領(lǐng)域，與relational數(shù)據(jù)database引擎相比，NoSQL的效率明顯更高。5.在Gartner評選的2012年十大戰(zhàn)略技術(shù)中，內(nèi)存分析在個人消費電子設(shè)備和其他嵌入式設(shè)備中的應(yīng)用將會快速發(fā)展。

University數(shù)據(jù)專業(yè)需求:數(shù)學(xué)分析、高等代數(shù)、普通物理數(shù)學(xué)和信息科學(xué)導(dǎo)論，數(shù)據(jù)結(jié)構(gòu)，數(shù)據(jù)科學(xué)導(dǎo)論、程序設(shè)計導(dǎo)論、編程實踐、離散數(shù)學(xué)、概率統(tǒng)計、算法分析。-3/圖書館系統(tǒng)概論、計算機系統(tǒng)基礎(chǔ)、并行架構(gòu)與編程、非結(jié)構(gòu)化大數(shù)據(jù)分析等。大學(xué)數(shù)據(jù)你學(xué)什么專業(yè)數(shù)據(jù)科學(xué)與大學(xué)數(shù)據(jù)技術(shù)專業(yè)通過基礎(chǔ)的學(xué)習(xí)掌握科學(xué)、統(tǒng)計、計算機等學(xué)科的基礎(chǔ)知識知識、理論與技術(shù)。

數(shù)據(jù)科學(xué)與大學(xué)數(shù)據(jù)技術(shù)的主要課程有數(shù)學(xué)分析、高等代數(shù)、普通物理數(shù)學(xué)導(dǎo)論、信息科學(xué)、數(shù)據(jù)結(jié)構(gòu)、數(shù)據(jù)科學(xué)導(dǎo)論、程序設(shè)計導(dǎo)論、程序設(shè)計實踐、離散數(shù)學(xué)等。計算智能，數(shù)據(jù)圖書館系統(tǒng)概論，計算機系統(tǒng)基礎(chǔ)，并行架構(gòu)與編程，非結(jié)構(gòu)化分析，有些大學(xué)的特色會不一樣。通識學(xué)知識通識學(xué)知識包括人文社會科學(xué)、數(shù)學(xué)和自然科學(xué)。

Da數(shù)據(jù)technology的體系龐大而復(fù)雜，基礎(chǔ)技術(shù)包括數(shù)據(jù)采集、數(shù)據(jù)預(yù)處理、分布式存儲、數(shù)據(jù)庫和。1.數(shù)據(jù)采集與預(yù)處理:FlumeNG實時日志采集系統(tǒng)，支持日志系統(tǒng)中各種類型的定制。數(shù)據(jù)發(fā)件人用于收款數(shù)據(jù)；Zookeeper是一個分布式、開源的分布式應(yīng)用協(xié)調(diào)服務(wù)，提供數(shù)據(jù)同步服務(wù)。2.數(shù)據(jù)存儲:Hadoop作為一個開源框架，是專門為離線和大規(guī)模數(shù)據(jù)分析而設(shè)計的，HDFS作為其核心存儲引擎已經(jīng)廣泛應(yīng)用于數(shù)據(jù)存儲中。

3.數(shù)據(jù) Cleaning: MapRece作為Hadoop查詢引擎，用于大規(guī)模數(shù)據(jù) set并行計算4。數(shù)據(jù)查詢分析:Hive的核心工作是將SQL語句翻譯成MR程序，這些程序是可以結(jié)構(gòu)化的。Spark啟用了內(nèi)存分配數(shù)據(jù) set，不僅可以提供交互式查詢，還可以優(yōu)化迭代工作量。

Da 數(shù)據(jù)技術(shù)學(xué)習(xí)需要一定的Java技術(shù)作為基礎(chǔ)支撐，Da 數(shù)據(jù)學(xué)習(xí)內(nèi)容由淺入深:Java基礎(chǔ)、前端技術(shù)(HTML、CSS、javascript)、JavaWeb和數(shù)據(jù)庫、Linux基礎(chǔ)。在學(xué)習(xí)的過程中，投入時間和精力，用興趣驅(qū)動學(xué)習(xí)。代碼實戰(zhàn)是必須的，看別人的代碼，自己寫。

根植于開源社區(qū)，Hadoop一直是大型數(shù)據(jù)平臺中應(yīng)用率最高的技術(shù)，尤其是對于非結(jié)構(gòu)化數(shù)據(jù)如文本、社交媒體訂閱和視頻。2.除了分布式文件系統(tǒng)，Hadoop還附帶了MapReduce架構(gòu)，用于大型數(shù)據(jù) set處理。據(jù)權(quán)威報道，許多企業(yè)已經(jīng)開始使用或評估Hadoop技術(shù)作為其大型數(shù)據(jù)平臺的標(biāo)準(zhǔn)。3.在我們所處的時代，一些新技術(shù)仍在相對穩(wěn)定的數(shù)據(jù)圖書館市場中不斷涌現(xiàn)，它們將在未來幾年發(fā)揮作用。

我看過CUHK查閱的文章中的相關(guān)介紹。數(shù)據(jù) 建模的具體好處如下:1，基于數(shù)據(jù)，可以獲得用戶的偏好和使用習(xí)慣，可以讓企業(yè)的產(chǎn)品和服務(wù)更具競爭力。2.通過客戶精準(zhǔn)營銷，提升消費者體驗和客戶粘度，增加銷售額，提升企業(yè)品牌形象，3.通過數(shù)據(jù)挖掘并在此基礎(chǔ)上進行科學(xué)預(yù)測，可以及時發(fā)現(xiàn)企業(yè)的不足或管理漏洞，減少企業(yè)的損失。4.用數(shù)據(jù)反饋來指導(dǎo)企業(yè)下一輪的產(chǎn)品設(shè)計方向，有利于企業(yè)的產(chǎn)品創(chuàng)新。