機(jī)器人協(xié)議(又稱(chēng)爬行動(dòng)物協(xié)議、機(jī)器人 協(xié)議)等。)是對(duì)所有蜘蛛的一種約束，而我們通常提到的Robots 協(xié)議，Robots.txt就叫機(jī)器人或者Robots 協(xié)議(也叫爬蟲(chóng)協(xié)議，機(jī)器人。

robots是協(xié)議介于一個(gè)網(wǎng)站和一個(gè)爬蟲(chóng)之間，以簡(jiǎn)單直接的txt格式告訴對(duì)應(yīng)的爬蟲(chóng)權(quán)限，也就是說(shuō)robots.txt是一個(gè)搜索引擎中訪(fǎng)問(wèn)一個(gè)網(wǎng)站時(shí)首先要查看的文件。當(dāng)一個(gè)搜索蜘蛛訪(fǎng)問(wèn)一個(gè)站點(diǎn)時(shí)，它會(huì)首先檢查該站點(diǎn)的根目錄下是否有robots.txt。如果有，search 機(jī)器人會(huì)根據(jù)文件內(nèi)容確定訪(fǎng)問(wèn)范圍。如果該文件不存在，所有搜索蜘蛛將能夠訪(fǎng)問(wèn)網(wǎng)站上所有不受密碼保護(hù)的頁(yè)面。

Robots 協(xié)議是網(wǎng)站管理員使用的一種協(xié)議用來(lái)通知網(wǎng)絡(luò)爬蟲(chóng)可以抓取哪些頁(yè)面。通過(guò)在網(wǎng)站的根目錄中放置一個(gè)名為robots.txt的文件，網(wǎng)站管理員可以指定哪些頁(yè)面可以被爬取，哪些頁(yè)面不可以被爬取。爬蟲(chóng)在訪(fǎng)問(wèn)一個(gè)網(wǎng)站時(shí)，會(huì)先查看robots.txt文件，根據(jù)其中的規(guī)則判斷是否可以訪(fǎng)問(wèn)和收集某些網(wǎng)頁(yè)的數(shù)據(jù)。章魚(yú)采集器可以根據(jù)網(wǎng)站的robots.txt文件設(shè)置采集規(guī)則，遵守網(wǎng)站的爬蟲(chóng)限制，保證數(shù)據(jù)采集合法合規(guī)。

Robots 協(xié)議(又稱(chēng)爬蟲(chóng)協(xié)議、機(jī)器人 協(xié)議等的全稱(chēng)。)是“RoboSexclusion協(xié)議”，網(wǎng)站是通過(guò)RoboSexclusion協(xié)議的。文件寫(xiě)Useragent:*此處*代表的所有搜索引擎類(lèi)型，*是通配符，disable:/admin/。這里定義了禁止抓取管理目錄下的目錄disable:/require/這里定義了禁止抓取要求目錄下的目錄disable:/ABC/這里定義了禁止抓取ABC目錄下的目錄disable: /cgibin/ *。htm。這里定義了禁止訪(fǎng)問(wèn)所有帶后綴的URL(包括子目錄)。/CGI bin/目錄下的htm。

某度與一只老虎爭(zhēng)奪搜索引擎市場(chǎng)，早期爆發(fā)了一系列訴訟，其中包括三起與機(jī)器人相關(guān)的案件協(xié)議。目前，兩起案件已經(jīng)審結(jié)，一起案件正在審理中。背景2012年8月16日，360搜索引擎服務(wù)上線(xiàn)，雙方出現(xiàn)摩擦。某度認(rèn)為某虎直接抓取某網(wǎng)站內(nèi)容，作為搜索結(jié)果提供給網(wǎng)絡(luò)用戶(hù)，在某網(wǎng)站上違反了Robots 協(xié)議。2012年8月28日、29日，某度采取技術(shù)措施，讓用戶(hù)在360搜索引擎中點(diǎn)擊來(lái)自某度網(wǎng)頁(yè)的搜索結(jié)果，彈出的是某度主頁(yè)，而不是特定頁(yè)面。

每個(gè)人都有自己的隱私，每個(gè)網(wǎng)站也是如此；人可以把隱私藏在心里，網(wǎng)站可以用機(jī)器人屏蔽，讓別人找不到，蜘蛛爬不到。蔡曉簡(jiǎn)單分析了Robots 協(xié)議的語(yǔ)法及其在SEO中的妙用，以便新手更好的理解和掌握！什么是機(jī)器人協(xié)議？機(jī)器人協(xié)議(又稱(chēng)爬行動(dòng)物協(xié)議、機(jī)器人 協(xié)議)等。)是對(duì)所有蜘蛛的一種約束。搜索引擎通過(guò)一個(gè)程序機(jī)器人(又稱(chēng)蜘蛛)自動(dòng)訪(fǎng)問(wèn)互聯(lián)網(wǎng)上的網(wǎng)頁(yè)，獲取網(wǎng)頁(yè)信息。

Robots是一個(gè)英文單詞，懂英語(yǔ)的朋友都知道。機(jī)器人的中文意思是機(jī)器人。而我們通常提到的Robots 協(xié)議，Robots.txt就叫機(jī)器人或者Robots 協(xié)議(也叫爬蟲(chóng)協(xié)議，機(jī)器人。

Robots 協(xié)議的本質(zhì)是網(wǎng)站與搜索引擎爬蟲(chóng)之間的通信，用來(lái)引導(dǎo)搜索引擎更好地抓取網(wǎng)站中的內(nèi)容。例如，當(dāng)搜索蜘蛛訪(fǎng)問(wèn)一個(gè)網(wǎng)站時(shí)，它檢查的第一個(gè)文件是網(wǎng)站的根目錄中是否有robots.txt文件。如果有，蜘蛛會(huì)根據(jù)文件中的條件碼確定可以訪(fǎng)問(wèn)什么頁(yè)面或內(nèi)容；如果沒(méi)有文件協(xié)議的存在，所有搜索蜘蛛將能夠訪(fǎng)問(wèn)網(wǎng)站上不受協(xié)議限制的所有內(nèi)容頁(yè)面。

robots.txt不是一個(gè)公司制定的，早在20世紀(jì)93、94年就出現(xiàn)了，比谷歌還早。真實(shí)機(jī)器人的起源協(xié)議在互聯(lián)網(wǎng)從業(yè)者的公開(kāi)郵件群里討論誕生，即使在今天，互聯(lián)網(wǎng)領(lǐng)域的相關(guān)問(wèn)題仍然在一些專(zhuān)門(mén)的郵件群中討論并產(chǎn)生(主要在美國(guó))。1994年6月30日，經(jīng)過(guò)搜索引擎人員和被搜索引擎抓取的站長(zhǎng)討論，一個(gè)行業(yè)規(guī)范robots.txt 協(xié)議正式發(fā)布。