隨著互聯(lián)網和物聯(lián)網的廣泛應用，信息感知無處不在，信息海量，但價值密度低。如何結合業(yè)務邏輯和強大的機器算法挖掘數(shù)據(jù)價值，是大數(shù)據(jù)時代最需要解決的問題。四。速度:數(shù)據(jù)增長速度快，處理速度也快，時效性要求高。比如搜索引擎要求用戶可以查詢幾分鐘前的新聞，個性化推薦算法要求盡可能實時推薦。這是大數(shù)據(jù)不同于傳統(tǒng)數(shù)據(jù)挖掘的一個顯著特點。

數(shù)據(jù)挖掘是基于數(shù)據(jù)庫理論、機器學習、人工智能和現(xiàn)代統(tǒng)計學的一門迅速發(fā)展的交叉學科，在許多領域都有應用。涉及到很多算法，比如機器學習衍生的神經網絡和決策樹，基于統(tǒng)計學習理論的支持向量機，分類回歸樹，相關分析等。數(shù)據(jù)挖掘的定義是從海量數(shù)據(jù)中發(fā)現(xiàn)有意義的模式或知識。大數(shù)據(jù)是今年提出來的，也是媒體忽悠的概念。有三個重要特點:數(shù)據(jù)量大、結構復雜、數(shù)據(jù)更新快。

Datamining(英文:Datamining)，又譯為數(shù)據(jù)挖掘和數(shù)據(jù)挖掘。這是數(shù)據(jù)庫知識發(fā)現(xiàn)(KDD)的一個步驟。數(shù)據(jù)挖掘一般是指通過算法從大量數(shù)據(jù)中尋找隱藏信息的過程。長平鎮(zhèn)的IT培訓發(fā)現(xiàn)，數(shù)據(jù)挖掘通常與計算機科學有關，使用統(tǒng)計學、聯(lián)機分析處理、信息檢索、機器學習、專家系統(tǒng)(依靠過去的經驗規(guī)則)、模式識別等多種方法來達到上述目的。

涉及到很多算法，比如機器學習衍生的神經網絡和決策樹，基于統(tǒng)計學習理論的支持向量機，分類回歸樹，相關分析等。數(shù)據(jù)挖掘的定義是從海量數(shù)據(jù)中發(fā)現(xiàn)有意義的模式或知識。大數(shù)據(jù)是指在可承受的時間范圍內，傳統(tǒng)軟件工具無法捕獲、管理和處理的數(shù)據(jù)集合。它是一種信息資產，需要新的處理模式來擁有更強的決策、洞察和流程優(yōu)化能力，以適應海量、高增長率和多樣性。

數(shù)據(jù)分析的目的和數(shù)據(jù)挖掘的目的不一樣。數(shù)據(jù)分析有一個明確的分析群體，就是把各個維度的群體進行拆分、劃分、組合，找出問題所在，而數(shù)據(jù)挖掘的目標群體是不確定的，這就需要我們更多的從數(shù)據(jù)的內在聯(lián)系去分析，從而把業(yè)務、用戶、數(shù)據(jù)結合起來，進行更多的洞察和解讀。數(shù)據(jù)分析和數(shù)據(jù)挖掘的思維方式不同。一般來說，數(shù)據(jù)分析是基于客觀數(shù)據(jù)進行不斷的驗證和假設，而數(shù)據(jù)挖掘是沒有假設的，但是你也要根據(jù)模型的輸出給出你的判斷標準。

分析框架(假設)客觀問題(數(shù)據(jù)分析)結論(主觀判斷)而數(shù)據(jù)挖掘大多是大而全，多而精。數(shù)據(jù)越多，模型越精確，變量越多，數(shù)據(jù)之間的關系越清晰。數(shù)據(jù)分析更依賴于業(yè)務知識，數(shù)據(jù)挖掘更側重于技術的實現(xiàn)。對業(yè)務的要求略有降低。數(shù)據(jù)挖掘往往需要更多的數(shù)據(jù)，數(shù)據(jù)越大，對技術的要求就越高。

第一個特點是數(shù)據(jù)類型的多樣性。包括web日志、音頻、視頻、圖片、地理信息等等，對數(shù)據(jù)處理能力提出了更高的要求。第二個特點是數(shù)據(jù)值密度比較低。比如，隨著物聯(lián)網的廣泛應用，信息感知無處不在，信息海量，但價值密度低。如何通過強大的機器算法更快地“凈化”數(shù)據(jù)的價值，是大數(shù)據(jù)時代亟待解決的問題。第三個特點是處理速度快，時效性要求高。

數(shù)據(jù)挖掘是從大量不完整的、有噪聲的、模糊的、隨機的數(shù)據(jù)中提取隱藏的、未知的、但潛在有用的信息和知識的過程。數(shù)據(jù)挖掘流程:定義問題:明確定義業(yè)務問題，確定數(shù)據(jù)挖掘的目的。數(shù)據(jù)準備:數(shù)據(jù)準備包括:選擇數(shù)據(jù)——從大型數(shù)據(jù)庫和數(shù)據(jù)倉庫目標中提取數(shù)據(jù)挖掘的目標數(shù)據(jù)集；數(shù)據(jù)預處理——數(shù)據(jù)再處理，包括檢查數(shù)據(jù)的完整性和一致性、去噪、填充缺失字段、刪除無效數(shù)據(jù)等。

結果分析:對數(shù)據(jù)挖掘的結果進行解釋和評價，并轉化為最終能被用戶理解的知識。數(shù)據(jù)挖掘技術大致可以分為統(tǒng)計方法、機器學習方法、神經網絡方法和數(shù)據(jù)庫方法，統(tǒng)計方法可以細分為回歸分析(多元回歸、自回歸等。)和判別分析(貝葉斯判別、CBR、遺傳算法、貝葉斯信念網絡等，神經網絡方法可細分為:前向神經網絡(BP算法等。)和自組織神經網絡(自組織特征映射、競爭學習等，)。