常用的數(shù)據(jù)采集方式有數(shù)據(jù)倉(cāng)庫(kù)和操作日志、監(jiān)控和爬取(即爬蟲)、填充、掩埋和計(jì)算1、數(shù)據(jù)倉(cāng)庫(kù)和操作日志。有組織的和可共享的數(shù)據(jù) set是一個(gè)分析性的數(shù)據(jù) library，它為決策支持系統(tǒng)提供了基礎(chǔ)，但爬蟲作為獲取數(shù)據(jù)的技術(shù)手段之一，對(duì)數(shù)據(jù)有些敏感，如果你分不清哪個(gè)數(shù)據(jù)沒問題爬取哪個(gè)會(huì)觸碰紅線，你可能就是新聞里的下一個(gè)主角。

知名的網(wǎng)絡(luò)爬蟲軟件有很多，比如章魚、機(jī)車、Foresniffer等。這些軟件都是功能強(qiáng)大、操作簡(jiǎn)單的網(wǎng)絡(luò)爬蟲工具，可以幫助用戶快速抓取互聯(lián)網(wǎng)上的各類數(shù)據(jù)。其中章魚采集器是一款功能全面、操作簡(jiǎn)單、應(yīng)用廣泛的互聯(lián)網(wǎng)數(shù)據(jù)采集器。如果您需要采集數(shù)據(jù)，八達(dá)通采集器可以為您提供智能識(shí)別和靈活的自定義采集規(guī)則設(shè)置，幫助您快速獲取所需的數(shù)據(jù)。

當(dāng)你在做數(shù)據(jù) crawler的時(shí)候，一般會(huì)遇到這些問題:selenium是基于Firefox的開發(fā)工具，結(jié)合seleniumwebdriver，可以實(shí)現(xiàn)js的動(dòng)態(tài)渲染，模擬用戶在瀏覽器中的真實(shí)操作，達(dá)到數(shù)據(jù) 爬取的目的；每次調(diào)用selenium都會(huì)彈出瀏覽器界面，在瀏覽器中設(shè)置headless就可以進(jìn)入無(wú)界面狀態(tài)。Selenium的主要優(yōu)點(diǎn)是瀏覽器頁(yè)面的動(dòng)態(tài)交互和js腳本的動(dòng)態(tài)渲染，但缺點(diǎn)是每次加載一個(gè)url就相當(dāng)于打開一個(gè)頁(yè)面，渲染時(shí)間比較長(zhǎng)。爬取效率很低，可以用于研究和學(xué)習(xí)，由于js渲染中使用的數(shù)據(jù)是從后端獲取的，所以不適合生產(chǎn)環(huán)境。每一個(gè)ajax請(qǐng)求都會(huì)對(duì)應(yīng)一個(gè)http的api接口，所以只要仔細(xì)分析一個(gè)網(wǎng)頁(yè)的ajax請(qǐng)求找到對(duì)應(yīng)的數(shù)據(jù)接口，數(shù)據(jù)就可以實(shí)現(xiàn)，而且數(shù)據(jù)接口比網(wǎng)頁(yè)的更穩(wěn)定。缺點(diǎn)是如果頁(yè)面請(qǐng)求to be 爬取過于復(fù)雜，需要有一定的分析經(jīng)驗(yàn)，借助分析工具耐心觀察調(diào)試定位。

本程序用Python2.7.6編寫，擴(kuò)展了Python自帶的HTMLParser，根據(jù)預(yù)設(shè)的股票代碼列表自動(dòng)從YahooFinance檢索數(shù)據(jù)日期、股票名稱、實(shí)時(shí)報(bào)價(jià)、每日變化率、每日最低價(jià)和每日最高價(jià)。因?yàn)閅ahooFinance的股票頁(yè)面中的值都有對(duì)應(yīng)的id。比如在納斯達(dá)克100 ETF(QQQ)中，實(shí)時(shí)行情的HTML標(biāo)簽是可以使用spider，也可以自己用python或者golang寫一個(gè)抓取腳本，然后添加一個(gè)定時(shí)任務(wù)，設(shè)置為每30分鐘執(zhí)行一次。抓取數(shù)據(jù)一個(gè)頁(yè)面并解析它仍然非常簡(jiǎn)單。最簡(jiǎn)單的就是用爬行動(dòng)物。兩種網(wǎng)站可以通過不同的方式去爬取 1。一個(gè)打開API的網(wǎng)站，只要打開API就可以直接獲得它的json 數(shù)據(jù)。判斷一個(gè)網(wǎng)站是否開放了API有三種方法。