什么是網(wǎng)絡數(shù)據(jù)挖掘？數(shù)據(jù)挖掘:目前現(xiàn)有的數(shù)據(jù)挖掘和機器學習技術(shù)有待完善；發(fā)展數(shù)據(jù)網(wǎng)絡挖掘、特殊群體挖掘、圖挖掘等新的數(shù)據(jù)挖掘技術(shù)；突破基于對象的數(shù)據(jù)連接、相似性連接等數(shù)據(jù)融合技術(shù)；突破用戶興趣分析、網(wǎng)絡行為分析、情感語義分析等面向領域的大數(shù)據(jù)挖掘技術(shù)。什么是數(shù)據(jù)挖掘。

數(shù)據(jù)挖掘是指通過算法從大量數(shù)據(jù)中尋找隱藏信息的過程。功能:通過算法搜索隱藏在大量數(shù)據(jù)中的信息。應用:數(shù)據(jù)倉庫、文本、多媒體數(shù)據(jù)、空間數(shù)據(jù)、時間序列數(shù)據(jù)、Web數(shù)據(jù)，這類數(shù)據(jù)源包含半結(jié)構(gòu)化數(shù)據(jù)甚至異構(gòu)數(shù)據(jù)。擴展資料:需要是發(fā)明之母。近年來，數(shù)據(jù)挖掘引起了信息產(chǎn)業(yè)的極大關(guān)注。主要原因是有大量可以廣泛應用的數(shù)據(jù)，迫切需要將這些數(shù)據(jù)轉(zhuǎn)化為有用的信息和知識。

數(shù)據(jù)挖掘是人工智能和數(shù)據(jù)庫研究領域的一個熱門話題。所謂數(shù)據(jù)挖掘，是指從數(shù)據(jù)庫的大量數(shù)據(jù)中揭示隱藏的、以前未知的、潛在有價值的信息的非凡過程。數(shù)據(jù)挖掘是一個決策支持過程，主要基于人工智能、機器學習、模式識別、統(tǒng)計學、數(shù)據(jù)庫、可視化技術(shù)等。它以高度的自動化分析企業(yè)的數(shù)據(jù)，進行歸納推理，從中挖掘潛在的模式，幫助決策者調(diào)整市場策略，降低風險，做出正確的決策。

大數(shù)據(jù)挖掘技術(shù)的主要內(nèi)容包括:模式跟蹤、數(shù)據(jù)清洗和準備、基于分類的數(shù)據(jù)挖掘技術(shù)、離群點檢測、關(guān)聯(lián)和聚類?；诖蟓h(huán)境下數(shù)據(jù)的特點，挖掘技術(shù)和對應關(guān)系:1 .數(shù)據(jù)源眾多，大數(shù)據(jù)挖掘的研究對象往往不僅僅涉及一個業(yè)務系統(tǒng)，還涉及多個系統(tǒng)的融合分析。因此，需要強大的ETL技術(shù)來整合多個系統(tǒng)的數(shù)據(jù)，而多個系統(tǒng)的數(shù)據(jù)可能有不同的標準。

2.數(shù)據(jù)的維度很高，整合后的數(shù)據(jù)不僅僅是傳統(tǒng)數(shù)據(jù)挖掘的那些維度，還有上百個維度，這就需要降維技術(shù)。3.大量數(shù)據(jù)的計算無法在單臺服務器上計算，需要分布式計算。所以要掌握各種分布式計算框架，比如Hadoop、Spark，就要掌握機器學習算法的分布式實現(xiàn)。數(shù)據(jù)挖掘:目前現(xiàn)有的數(shù)據(jù)挖掘和機器學習技術(shù)有待完善；發(fā)展數(shù)據(jù)網(wǎng)絡挖掘、特殊群體挖掘、圖挖掘等新的數(shù)據(jù)挖掘技術(shù)；突破基于對象的數(shù)據(jù)連接、相似性連接等數(shù)據(jù)融合技術(shù)；突破用戶興趣分析、網(wǎng)絡行為分析、情感語義分析等面向領域的大數(shù)據(jù)挖掘技術(shù)。

1。分類是找出數(shù)據(jù)庫中一組數(shù)據(jù)對象的共同特征，并按照分類方式將其劃分到不同的類中。其目的是通過分類模型將數(shù)據(jù)庫中的數(shù)據(jù)項映射到給定的類別中。它可以應用于應用分類和趨勢預測。比如淘寶店鋪將用戶在一段時間內(nèi)的購買行為進行分類，根據(jù)情況向用戶推薦相關(guān)商品，從而增加店鋪的銷量。主要的分類方法有:決策樹、KNN方法、SVM方法、VSM方法、貝葉斯方法、神經(jīng)網(wǎng)絡等。

直接數(shù)據(jù)挖掘:目標是利用可用的數(shù)據(jù)建立一個模型，這個模型描述了剩余的數(shù)據(jù)和一個特定的變量(可以理解為數(shù)據(jù)庫中表的屬性，也就是列)。間接數(shù)據(jù)挖掘:不在目標中選擇具體變量，用模型描述；而是在所有變量之間建立一種關(guān)系。數(shù)據(jù)挖掘的方法神經(jīng)網(wǎng)絡方法神經(jīng)網(wǎng)絡由于其良好的魯棒性、自組織和自適應性、并行處理、分布式存儲和高容錯性，非常適合解決數(shù)據(jù)挖掘問題，近年來受到越來越多的關(guān)注。

遺傳算法因其隱含的并行性和易于與其他模型結(jié)合而被應用于數(shù)據(jù)挖掘。決策樹方法決策樹是預測模型中常用的一種算法，通過有目的地對大量數(shù)據(jù)進行分類，發(fā)現(xiàn)一些有價值和潛在的信息。其主要優(yōu)點是描述簡單，分類速度快，特別適合大規(guī)模數(shù)據(jù)處理。粗糙集理論是一種研究不精確和不確定知識的數(shù)學工具。粗糙集方法有幾個優(yōu)點:它不需要給出額外的信息；簡化輸入信息的表達空間；該算法簡單，易于操作。

隨著科學技術(shù)的飛速發(fā)展和數(shù)據(jù)存儲技術(shù)的飛速進步，各種行業(yè)或組織的數(shù)據(jù)可以海量積累。然而，從海量數(shù)據(jù)中提取有用信息成為一個難題。面對海量數(shù)據(jù)，傳統(tǒng)的數(shù)據(jù)分析工具和方法顯得非常無力。由此，數(shù)據(jù)挖掘技術(shù)登上了歷史舞臺。數(shù)據(jù)挖掘是一種技術(shù)，它將傳統(tǒng)的數(shù)據(jù)分析方法與處理大量數(shù)據(jù)的復雜算法相結(jié)合(圖1)，從大量不完整的、有噪聲的、模糊的、隨機的數(shù)據(jù)中提取隱藏的但潛在有用的信息和知識。

有哪些數(shù)據(jù)挖掘技術(shù)？如何應用？數(shù)據(jù)挖掘技術(shù)應用廣泛，如:1 .在交通領域，它有助于制定鐵路票價和預測交通流量。2.生物學方面，探索基因與疾病的關(guān)系，蛋白質(zhì)結(jié)構(gòu)預測，代謝途徑預測等。3.在金融行業(yè)，股指跟蹤、稅務稽查等方面都有重要的應用。4.在電子商務領域，客戶行為分析，定向營銷，定向廣告，誰是最有價值的用戶，一起賣什么產(chǎn)品。

數(shù)據(jù)挖掘是從大量不完整的、有噪聲的、模糊的、隨機的數(shù)據(jù)中提取隱藏的、未知的、但潛在有用的信息和知識的過程。數(shù)據(jù)挖掘流程:定義問題:明確定義業(yè)務問題，確定數(shù)據(jù)挖掘的目的。數(shù)據(jù)準備:數(shù)據(jù)準備包括:選擇數(shù)據(jù)——從大型數(shù)據(jù)庫和數(shù)據(jù)倉庫目標中提取數(shù)據(jù)挖掘的目標數(shù)據(jù)集；數(shù)據(jù)預處理——數(shù)據(jù)再處理，包括檢查數(shù)據(jù)的完整性和一致性、去噪、填充缺失字段、刪除無效數(shù)據(jù)等。

結(jié)果分析:對數(shù)據(jù)挖掘的結(jié)果進行解釋和評價，并轉(zhuǎn)化為最終能被用戶理解的知識。數(shù)據(jù)挖掘技術(shù)大致可以分為統(tǒng)計方法、機器學習方法、神經(jīng)網(wǎng)絡方法和數(shù)據(jù)庫方法。統(tǒng)計方法可以細分為回歸分析(多元回歸、自回歸等。)和判別分析(貝葉斯判別、CBR、遺傳算法、貝葉斯信念網(wǎng)絡等。神經(jīng)網(wǎng)絡方法可細分為:前向神經(jīng)網(wǎng)絡(BP算法等。)和自組織神經(jīng)網(wǎng)絡(自組織特征映射、競爭學習等。).

數(shù)據(jù)采集和數(shù)據(jù)挖掘是數(shù)據(jù)管理的不同階段。數(shù)據(jù)獲取的工作是從數(shù)據(jù)源中獲取可以存儲在數(shù)據(jù)庫或數(shù)據(jù)倉庫中的數(shù)據(jù)信息，例如，從傳感器收集的諸如溫度、速度和濕度的信息，從網(wǎng)絡收集的網(wǎng)頁數(shù)據(jù)等。數(shù)據(jù)采集完成后，需要對數(shù)據(jù)進行清理，以滿足入庫的要求，然后導入采集的數(shù)據(jù)，最后，在數(shù)據(jù)庫或數(shù)據(jù)倉庫上進行數(shù)據(jù)挖掘。