日期格式不正確或日期越界的錯誤會導(dǎo)致ETL操作失敗。此錯誤需要用SQL從業(yè)務(wù)系統(tǒng) 數(shù)據(jù)庫中選擇，提交給業(yè)務(wù)主管部門，要求限期修改，修改后提取。三。Duplicate 數(shù)據(jù):這種類型的數(shù)據(jù)，尤其是在維度表中會發(fā)生，所以duplicate 數(shù)據(jù)中記錄的字段都要寫出來，供客戶確認(rèn)分析。

之前有個大神用爬蟲一天之內(nèi)把Tik Tok所有短視頻的數(shù)據(jù)都拉了出來，總共2萬多條數(shù)據(jù)。拿到數(shù)據(jù)后，用這個數(shù)據(jù)把我們洗出來。洗去人群的標(biāo)簽，包括興趣愛好，關(guān)注點，時間點。對于20000數(shù)據(jù)郭清洗，我們在描述后做詞頻統(tǒng)計，排除無效詞，統(tǒng)計高頻詞如喜歡、自我、真實、ok、教程、發(fā)型、思域、化妝等。在這里，我們以后能做什么？

然后根據(jù)上面用戶發(fā)布時間段的時間，統(tǒng)計該時間段內(nèi)用戶的點贊和轉(zhuǎn)發(fā)作為參考，最終得到下圖。這樣，可以獲得更準(zhǔn)確的時間段。你可以清楚地看到時間段內(nèi)效果的不同。下午13:00和18:00是贊的高峰期。在20000數(shù)據(jù)的統(tǒng)計中，再次稱贊清洗的分布曲線，大致得出數(shù)據(jù)的分布。大部分短視頻贊在700以下，上萬的短視頻占比并不大。這是Tik Tok的-。

數(shù)據(jù)清洗指的是查找并更正數(shù)據(jù)文件中可識別錯誤的最后一個過程，包括檢查數(shù)據(jù)的一致性以及處理無效值和缺失值。與問卷審核不同的是,數(shù)據(jù)錄入后的清理一般是由計算機完成，而不是人工完成。數(shù)據(jù) 清洗的主要任務(wù)是過濾掉不符合要求的數(shù)據(jù)，將過濾后的結(jié)果交由業(yè)務(wù)主管部門確認(rèn)是否過濾掉或由業(yè)務(wù)部門修正后再提取。不合格數(shù)據(jù)主要包括不完整數(shù)據(jù)、不正確數(shù)據(jù)、重復(fù)數(shù)據(jù)。

數(shù)據(jù) 清洗從名稱可以看出，它的意思是“洗去”臟的，是指在數(shù)據(jù)文件中發(fā)現(xiàn)并糾正可識別錯誤的最后一個過程，包括檢查數(shù)據(jù)的一致性和處理無效值。因為數(shù)據(jù)在倉庫數(shù)據(jù)是數(shù)據(jù)面向某個主題的集合，所以這些數(shù)據(jù)是從多個商家系統(tǒng)中提取的，并且包含歷史。這樣，難免有些數(shù)據(jù)是錯的數(shù)據(jù)和有些數(shù)據(jù)相互沖突。這些錯誤的或沖突的數(shù)據(jù)顯然是不想要的，它們被稱為“臟”。

清洗數(shù)據(jù)有很多工具?？梢栽囋囅旅娴那逑垂ぞ咦詈谩：锰杛ightdata:國內(nèi)首家提供完整地址數(shù)據(jù)以SAAS模式處理業(yè)務(wù)流程的網(wǎng)站。網(wǎng)站采用先進的大數(shù)據(jù)和自然語言處理技術(shù)，為用戶提供最準(zhǔn)確的地址數(shù)據(jù)拆分完整，郵編查詢匹配消除重復(fù)。Google Refine: Google Refine的文本和數(shù)字可以描述為電子表格。