第二步:收集數(shù)據(jù)根據(jù)客戶要求，從網(wǎng)絡(luò)爬蟲、結(jié)構(gòu)化、本地?cái)?shù)據(jù)、物聯(lián)網(wǎng)設(shè)備和五個(gè)手動(dòng)輸入的數(shù)據(jù)來源中收集數(shù)據(jù)。目的是根據(jù)客戶的需求定制數(shù)據(jù)收購(gòu)，構(gòu)建單個(gè)數(shù)據(jù)來源。第三步:數(shù)據(jù)現(xiàn)實(shí)世界中的預(yù)處理數(shù)據(jù)一般不完整不一致數(shù)據(jù)，不能直接分析數(shù)據(jù)，或者分析結(jié)果不理想。數(shù)據(jù)預(yù)處理的方法有很多:數(shù)據(jù)清洗、數(shù)據(jù)積分、數(shù)據(jù)變換、數(shù)據(jù)歸約等。

1、服務(wù)器日志隨著網(wǎng)站應(yīng)用的不斷擴(kuò)展，網(wǎng)站日志不再局限于點(diǎn)擊流日志數(shù)據(jù)。如果你的網(wǎng)站提供上傳下載、視頻音樂、網(wǎng)頁游戲等服務(wù)。，很明顯你的網(wǎng)站服務(wù)器不僅會(huì)生成用戶瀏覽和點(diǎn)擊網(wǎng)頁的日志，還有標(biāo)準(zhǔn)的apache日志格式的日志，更有W3C、JSON或者用戶自定義的輸出日志。網(wǎng)絡(luò)分析不再局限于PV、UV、轉(zhuǎn)化損耗等。網(wǎng)絡(luò)瀏覽?；谑录姆治鰰?huì)越來越普遍，會(huì)更加關(guān)注用戶接受網(wǎng)站服務(wù)的全過程:上傳下載是否完成，速度有多快；用戶是否觀看了整個(gè)視頻以及視頻的加載；以及用戶玩網(wǎng)頁游戲時(shí)的操作和體驗(yàn)分析。

1 Big 數(shù)據(jù)的崛起預(yù)示著信息時(shí)代將進(jìn)入一個(gè)新的階段。1.看大數(shù)據(jù)有歷史眼光。與農(nóng)業(yè)和工業(yè)時(shí)代相比，信息時(shí)代是一個(gè)相當(dāng)長(zhǎng)的時(shí)期。不同時(shí)期的生產(chǎn)要素和社會(huì)發(fā)展動(dòng)力有明顯的差異。信息時(shí)代標(biāo)志性的技術(shù)發(fā)明是數(shù)字計(jì)算機(jī)、集成電路、光纖通信和互聯(lián)網(wǎng)(萬維網(wǎng))。雖然媒體上對(duì)數(shù)據(jù) times的談?wù)摵芏啵菙?shù)據(jù)和云計(jì)算等新技術(shù)尚未取得可與上述劃時(shí)代的技術(shù)發(fā)明相媲美的技術(shù)突破，難以形成超越信息時(shí)代的新時(shí)代。

通過考察和分析100多年的漫長(zhǎng)歷史，可以發(fā)現(xiàn)信息時(shí)代和工業(yè)時(shí)代的發(fā)展規(guī)律有很多相似之處。電氣化時(shí)代提高生產(chǎn)力的過程與信息時(shí)代驚人的相似。擴(kuò)散儲(chǔ)備20~30年后才明顯增加，分界線分別為1915年和1995年。我猜想，21世紀(jì)的前30年，可能是信息技術(shù)在經(jīng)過幾十年的擴(kuò)散和存儲(chǔ)后，提高生產(chǎn)力的黃金時(shí)代。1.2從信息時(shí)代新階段的高度，我們知道中國(guó)已經(jīng)進(jìn)入信息時(shí)代，但是很多人的思想還停留在工業(yè)時(shí)代。

發(fā)展遙感地質(zhì)找礦的關(guān)鍵之一是精挑細(xì)選獲取遙感數(shù)據(jù)。不同的構(gòu)造單元具有不同的地理地貌特征、不同的成礦條件和各自的成礦地質(zhì)背景。因此，選擇適合研究區(qū)成礦特征的遙感數(shù)據(jù)是遙感地質(zhì)找礦取得良好效果的保證。1.TM和ETM 數(shù)據(jù)特征Landsat TM和ETM 分別屬于美國(guó)Landsat的第二代和第三代傳感器系統(tǒng)，具有一定的繼承性。

多光譜數(shù)據(jù)空間分辨率滿足1 ∶ 20萬的成圖要求。對(duì)于重點(diǎn)礦區(qū)(帶)的遙感地質(zhì)解譯，采用8波段與多光譜數(shù)據(jù)的融合方法，可將影像的空間分辨率提高到15m，并可達(dá)到1 ∶ 5萬圖的粗測(cè)繪精度，因此，本數(shù)據(jù)可以滿足本項(xiàng)目遙感地質(zhì)信息提取的要求。表51列出了TM，ETM RS 數(shù)據(jù)的主要性能指標(biāo)。