機(jī)器人協(xié)議
機(jī)器人協(xié)議(又稱爬行動(dòng)物協(xié)議、機(jī)器人協(xié)議)等。)是對所有蜘蛛的一種約束，而我們通常提到的Robots協(xié)議，Robots.txt就叫機(jī)器人或者Robots協(xié)議(也叫爬蟲協(xié)議，機(jī)器人。1、robot可以限制爬蟲程序采集某些網(wǎng)頁的數(shù)據(jù)是對的還是錯(cuò)的robots是協(xié)議介于一個(gè)網(wǎng)站和一個(gè)爬蟲之間，以簡單直接的txt格式告訴對應(yīng)的爬蟲權(quán)限，也就是說robots.txt是一個(gè)搜索引擎中訪問一個(gè)網(wǎng)站時(shí)首先要查看的文件。當(dāng)一個(gè)搜索蜘蛛訪問一個(gè)站點(diǎn)時(shí)，它會(huì)首先檢查該站點(diǎn)的根目錄下是否有robots.txt。如果有，searc...
更新時(shí)間：2023-07-29標(biāo)簽： 機(jī)器人協(xié)議機(jī)器人協(xié)議 全文閱讀