雖然有些網(wǎng)站使用了ajax，但是在XHR仍然可以通過抓包的方式獲得json 數(shù)據(jù)(可以用抓包工具抓包或者按F12通過瀏覽器抓包:F12NetworkF5刷新)。二、不開放API 1的網(wǎng)站。如果網(wǎng)站是靜態(tài)頁面，可以使用requests庫發(fā)送請求，然后解析文本；通過HTML解析庫(lxml、parsel等)解析響應。);解析庫強烈推薦Parsel。不僅語法類似于css選擇器，而且速度也相當快，這正是Scrapy所使用的。

網(wǎng)絡爬蟲如何處理這個其實就是數(shù)據(jù)提取的步驟。首先要清楚的知道網(wǎng)頁的頁面結構，這是根本，因為網(wǎng)頁是有層次的樹形結構。否則我們很難提取到我們想要的東西數(shù)據(jù)，所以我們心中要有這樣一個概念:網(wǎng)頁是一個結構分明的樹狀文檔。這里我以搜房為例:房源/，這個頁面是一個小區(qū)的列表頁面，現(xiàn)在需要提取小區(qū)名稱和URL。

爬蟲作為一種計算機技術，是技術中性的，爬蟲技術從來沒有被法律禁止過。爬行動物的發(fā)展史可以追溯到20年前。搜索引擎、聚合導航、數(shù)據(jù)分析、人工智能等服務都需要基于爬蟲技術。但爬蟲作為獲取數(shù)據(jù)的技術手段之一，對數(shù)據(jù)有些敏感。如果你分不清哪個數(shù)據(jù)沒問題爬取哪個會觸碰紅線，你可能就是新聞里的下一個主角。對于如何界定爬蟲的正當性，目前還沒有明文規(guī)定，但我通過閱讀大量的文章、事件、分享和司法案例，總結出三個關鍵點:采集方式、采集行為和使用目的。

推薦一個很有用的軟件，我一直在用，就是ForeSpider軟件。我一直在用很多采集軟件，最后選擇了ForeSpider軟件，這是一個可視化的操作。簡單的配置可以通過幾個步驟來收集。如果網(wǎng)站很復雜，這個軟件自帶一個爬蟲腳本語言。寫幾行腳本就可以收集到所有的公數(shù)據(jù)。軟件還附帶了免費的數(shù)據(jù) library，數(shù)據(jù) collection直接存儲在數(shù)據(jù) library中，也可以導出為excel文件。

另外他們公司不僅軟件好用，還有自己的數(shù)據(jù)分析系統(tǒng)，直接采集數(shù)據(jù)入庫。ForeSpider中集成了數(shù)據(jù) mining的功能，可以快速進行聚類分類、統(tǒng)計分析等。收集的結果入庫后，可以形成分析報告。最重要的是他的收藏速度很快。我用章魚軟件啟動服務器一個月收了100萬塊，然后用了ForeSpider。筆記本，一天幾百萬。

link:抽取代碼:4591華爾街派的python金融實務從入門到精通。最近，越來越多的研究人員、基金經(jīng)理甚至財務會計領域的朋友問邊肖:金融家需要學習Python嗎？其實目前來看，這已經(jīng)不是問題了。Python已經(jīng)成為國內(nèi)很多頂級投行、基金、咨詢等泛金融、商業(yè)領域的必備技能。CICC、銀河證券、南方基金和銀華基金在招聘分析師時都要求精通Python 數(shù)據(jù)分析技能。

數(shù)據(jù)現(xiàn)在網(wǎng)上到處都是分析師，那么數(shù)據(jù)分析是什么呢？本集將對數(shù)據(jù) analysis的框架做一個詳細的分析，并推薦入門的相關文章。1.數(shù)據(jù)收購如今,數(shù)據(jù)的時代已經(jīng)到來，企業(yè)需要數(shù)據(jù)來分析用戶行為、自身產(chǎn)品的不足以及競爭對手的信息，而這一切的首要條件就是數(shù)據(jù)收購，常用的數(shù)據(jù)采集方式有數(shù)據(jù)倉庫和操作日志、監(jiān)控和爬取(即爬蟲)、填充、掩埋和計算1、數(shù)據(jù)倉庫和操作日志。有組織的和可共享的數(shù)據(jù) set是一個分析性的數(shù)據(jù) library，它為決策支持系統(tǒng)提供了基礎。