從專業(yè)上來說，是從數(shù)據(jù)中采集存儲，從數(shù)據(jù)中篩選，從算法中分析預測，從數(shù)據(jù)中展示分析結(jié)果，幫助做出最正確的選擇。關(guān)鍵作用是什么？挖掘各行業(yè)的關(guān)鍵路徑，輔助決策，提高社會(或企業(yè))的運營效率。最早是在什么場景下提出的？基礎(chǔ)學科信息化高速發(fā)展后，誕生了“Da 數(shù)據(jù)”這個說法。

hadoop作為開源的分布式集群，常用于大型數(shù)據(jù)分析后臺數(shù)據(jù)存儲，但不能單獨作為分析工具使用。永紅科技的國產(chǎn)bi工具永紅套件，可以算是一個大數(shù)據(jù)分析軟件，包括專業(yè)數(shù)據(jù) bazaar永紅數(shù)據(jù)集市，基于他們自己的技術(shù)開發(fā)，類似hadoop，但是查詢和計算速度更快，適合大數(shù)據(jù)的實時分析。通用基礎(chǔ)數(shù)據(jù) excel進行分析，origin，功能比較強，大數(shù)據(jù) SAS進行分析，

高斯，Minitab，Statistica，F(xiàn)ineBI，最新的是Hadoop技術(shù)。SAS可以用來設(shè)計正交實驗，SAS比SPSS功能多，RSA用于對應曲面分析，MATLAB面向矩陣，可以做很多事情，比如數(shù)值分析，模式識別，優(yōu)化...里面包含了一個巨大的工具箱，小波分析，遺傳 算法等等。當然，photoshop是必須的?？梢孕迗D，潤色，美化，刪繁就簡。

優(yōu)化數(shù)據(jù)，預測趨勢(大數(shù)據(jù))。有很多應用，包括數(shù)值優(yōu)化、組合優(yōu)化、機器學習、智能控制、人工生命、圖像處理、模式識別等領(lǐng)域。最簡單的應用就是函數(shù)優(yōu)化問題，即求一個復雜函數(shù)的極值。如果你想要相關(guān)的matlab代碼或者C代碼，我可以發(fā)給你，并留下你的郵箱。

數(shù)據(jù)Mining算法的組成部分包括:神經(jīng)網(wǎng)絡(luò)、-1 算法、回歸算法、聚類分析/123。LR有很多方法可以正則化模型。與NB的條件獨立性假設(shè)相比，LR不需要考慮樣本是否相關(guān)。與決策樹和支持向量機不同，NB有很好的概率解釋，用新的訓練數(shù)據(jù)更新模型很容易。如果你想要一些概率信息或者希望在以后有更多數(shù)據(jù)的時候方便的更新和改進模型，LR是值得使用的。

同時，大數(shù)據(jù)分析不是一朝一夕的事情，而是需要你積累的數(shù)據(jù)處理經(jīng)驗，不會輕易被替代。一個公司的所有工作基本都體現(xiàn)在數(shù)據(jù)。高級數(shù)據(jù)分析師職位通常是數(shù)據(jù)的職能結(jié)構(gòu)中的領(lǐng)導。他有很高的分析和思辨能力，對業(yè)務(wù)有很好的了解，對公司的管理和經(jīng)營行為有很深的理解，可以負責一個。

Da 數(shù)據(jù)概念:Da 數(shù)據(jù)是近兩年提出的，它有三個重要特點:數(shù)據(jù)數(shù)量大，結(jié)構(gòu)復雜，數(shù)據(jù)更新速度快。由于web技術(shù)的發(fā)展，Web用戶自動保存的數(shù)據(jù)和傳感器的不斷采集數(shù)據(jù)以及移動互聯(lián)網(wǎng)的發(fā)展，自動采集和存儲數(shù)據(jù)的速度在加快，全世界數(shù)據(jù)的量在不斷擴大。數(shù)據(jù)的存儲和計算都超出了單臺計算機(小型機和大型機)的能力，這對數(shù)據(jù) mining技術(shù)的實現(xiàn)提出了挑戰(zhàn)(一般來說數(shù)據(jù) mining的實現(xiàn)都是基于小型機或大型機，也可以進行并行計算)。

很多算法都涉及到，包括機器學習衍生的神經(jīng)網(wǎng)絡(luò)和決策樹，基于統(tǒng)計學習理論的支持向量機，分類回歸樹，相關(guān)性分析等。數(shù)據(jù)挖掘的定義是從海量數(shù)據(jù)中找到有意義的模式或知識，大數(shù)據(jù)需要映射成小單元進行計算，然后將所有的結(jié)果進行整合，也就是所謂的mapreduce 算法框架。