第二步:收集數(shù)據(jù)根據(jù)客戶要求，從網(wǎng)絡(luò)爬蟲、結(jié)構(gòu)化、本地數(shù)據(jù)、物聯(lián)網(wǎng)設(shè)備和五個手動輸入的數(shù)據(jù)來源中收集數(shù)據(jù)。目的是根據(jù)客戶的需求定制數(shù)據(jù)收購，構(gòu)建單個數(shù)據(jù)來源。第三步:數(shù)據(jù)現(xiàn)實世界中的預(yù)處理數(shù)據(jù)一般不完整不一致數(shù)據(jù)，不能直接分析數(shù)據(jù)，或者分析結(jié)果不理想。數(shù)據(jù)預(yù)處理的方法有很多:數(shù)據(jù)清洗、數(shù)據(jù)積分、數(shù)據(jù)變換、數(shù)據(jù)歸約等。

1、服務(wù)器日志隨著網(wǎng)站應(yīng)用的不斷擴(kuò)展，網(wǎng)站日志不再局限于點擊流日志數(shù)據(jù)。如果你的網(wǎng)站提供上傳下載、視頻音樂、網(wǎng)頁游戲等服務(wù)。，很明顯你的網(wǎng)站服務(wù)器不僅會生成用戶瀏覽和點擊網(wǎng)頁的日志，還有標(biāo)準(zhǔn)的apache日志格式的日志，更有W3C、JSON或者用戶自定義的輸出日志。網(wǎng)絡(luò)分析不再局限于PV、UV、轉(zhuǎn)化損耗等。網(wǎng)絡(luò)瀏覽。基于事件的分析會越來越普遍，會更加關(guān)注用戶接受網(wǎng)站服務(wù)的全過程:上傳下載是否完成，速度有多快；用戶是否觀看了整個視頻以及視頻的加載；以及用戶玩網(wǎng)頁游戲時的操作和體驗分析。

1 Big 數(shù)據(jù)的崛起預(yù)示著信息時代將進(jìn)入一個新的階段。1.看大數(shù)據(jù)有歷史眼光。與農(nóng)業(yè)和工業(yè)時代相比，信息時代是一個相當(dāng)長的時期。不同時期的生產(chǎn)要素和社會發(fā)展動力有明顯的差異。信息時代標(biāo)志性的技術(shù)發(fā)明是數(shù)字計算機(jī)、集成電路、光纖通信和互聯(lián)網(wǎng)(萬維網(wǎng))。雖然媒體上對數(shù)據(jù) times的談?wù)摵芏?，但是?shù)據(jù)和云計算等新技術(shù)尚未取得可與上述劃時代的技術(shù)發(fā)明相媲美的技術(shù)突破，難以形成超越信息時代的新時代。

通過考察和分析100多年的漫長歷史，可以發(fā)現(xiàn)信息時代和工業(yè)時代的發(fā)展規(guī)律有很多相似之處。電氣化時代提高生產(chǎn)力的過程與信息時代驚人的相似。擴(kuò)散儲備20~30年后才明顯增加，分界線分別為1915年和1995年。我猜想，21世紀(jì)的前30年，可能是信息技術(shù)在經(jīng)過幾十年的擴(kuò)散和存儲后，提高生產(chǎn)力的黃金時代。1.2從信息時代新階段的高度，我們知道中國已經(jīng)進(jìn)入信息時代，但是很多人的思想還停留在工業(yè)時代。

發(fā)展遙感地質(zhì)找礦的關(guān)鍵之一是精挑細(xì)選獲取遙感數(shù)據(jù)。不同的構(gòu)造單元具有不同的地理地貌特征、不同的成礦條件和各自的成礦地質(zhì)背景。因此，選擇適合研究區(qū)成礦特征的遙感數(shù)據(jù)是遙感地質(zhì)找礦取得良好效果的保證。1.TM和ETM 數(shù)據(jù)特征Landsat TM和ETM 分別屬于美國Landsat的第二代和第三代傳感器系統(tǒng)，具有一定的繼承性。

多光譜數(shù)據(jù)空間分辨率滿足1 ∶ 20萬的成圖要求。對于重點礦區(qū)(帶)的遙感地質(zhì)解譯，采用8波段與多光譜數(shù)據(jù)的融合方法，可將影像的空間分辨率提高到15m，并可達(dá)到1 ∶ 5萬圖的粗測繪精度，因此，本數(shù)據(jù)可以滿足本項目遙感地質(zhì)信息提取的要求。表51列出了TM，ETM RS 數(shù)據(jù)的主要性能指標(biāo)。