數(shù)據(jù) 挖掘的任務(wù)相關(guān)分析，集群分析，分類分析，異常。數(shù)據(jù)質(zhì)量分析 1、數(shù)據(jù)質(zhì)量分析 數(shù)據(jù)質(zhì)量分析是，是數(shù)據(jù)預(yù)處理的前提，是數(shù)據(jù)挖掘分析結(jié)論的基礎(chǔ)，不可信數(shù)據(jù)，。
作者:宋添龍，如需轉(zhuǎn)載，請聯(lián)系華章科技數(shù)據(jù)刪除有兩種:一種是線路記錄丟失，也叫數(shù)據(jù)記錄丟失；另一種是數(shù)據(jù)列的缺失值，即數(shù)據(jù) record中部分列的值由于各種原因而空缺。不同的數(shù)據(jù)商店和環(huán)境對于缺失值有不同的表示結(jié)果。比如數(shù)據(jù) library為Null，Python返回None，Pandas或Numpy為NaN。在極少數(shù)情況下，某些缺失值會被空字符串替換，但空字符串肯定不同于缺失值。
數(shù)據(jù)丟失的記錄一般無法找回。本文重點介紹數(shù)據(jù)列類型缺失值的處理思路。通常有四種思維方式。1.丟棄這種方法簡單明了，直接刪除有缺失值的行記錄(整行刪除)或列字段(整列刪除)，減少缺失數(shù)據(jù)記錄對總數(shù)數(shù)據(jù)的影響。但是，丟棄意味著數(shù)據(jù)特性將被減少，這種方法不適用于以下任何一種場景。2.補碼是比丟棄更常用的處理缺失值的方法。
一個是數(shù)據(jù) availability，即決策所依據(jù)的數(shù)據(jù)是否能得到，是否有足夠的時間，是否有足夠的數(shù)據(jù) dimensions等等。二是數(shù)據(jù)的質(zhì)量，-3/是否有噪點，-3/是否有假，-3/有多稀疏？避免垃圾進(jìn)出。第三，數(shù)據(jù)的時效性是否滿足決策要求，比如實時更新、每月更新還是每季度更新？第四，數(shù)據(jù)目前決策的假設(shè)是否仍然滿足要求，如模型開發(fā)時的假設(shè)是否仍然有效，模型的有效性是否滿足要求？
3、地鐵深基坑變形 數(shù)據(jù)的 挖掘 分析與風(fēng)險識別?基坑工程的隱患發(fā)展成為工程事故的前兆，必須在數(shù)據(jù)某些特征變化的監(jiān)測中有所體現(xiàn)。此時，如果及時采取相應(yīng)措施，可以用較小的成本避免或降低工程風(fēng)險?；诘罔F基坑工程的大量監(jiān)測數(shù)據(jù)通過挖掘的方法找到工程風(fēng)險與變形數(shù)據(jù)之間的內(nèi)在聯(lián)系和相關(guān)規(guī)律，從而形成一個量化的評價指標(biāo)來識別和評價工程的危險程度。
