Robots協(xié)議是什么？Robots文件中選項(xiàng)的含義

Robots協(xié)議又稱爬蟲(chóng)協(xié)議，它是國(guó)際互聯(lián)網(wǎng)界通行的道德規(guī)范，用于保護(hù)網(wǎng)站數(shù)據(jù)和敏感信息，確保網(wǎng)站用戶的個(gè)人信息和隱私不受侵犯。為了讓網(wǎng)絡(luò)爬蟲(chóng)了解網(wǎng)站的訪問(wèn)范圍，網(wǎng)站管理員通常會(huì)在網(wǎng)站的根目錄下放置一個(gè)符合Robots協(xié)議的robots.txt文件，通過(guò)這個(gè)文件告知網(wǎng)絡(luò)爬蟲(chóng)在抓取該網(wǎng)站時(shí)存在哪些限制，哪些網(wǎng)頁(yè)是允許被抓取的，哪些網(wǎng)頁(yè)是禁止被抓取的。

當(dāng)網(wǎng)絡(luò)爬蟲(chóng)訪問(wèn)網(wǎng)站時(shí)，應(yīng)先檢查該網(wǎng)站的根目錄下是否存在robots.txt文件。若robots.txt文件不存在，則網(wǎng)絡(luò)爬蟲(chóng)會(huì)訪問(wèn)該網(wǎng)站上所有被口令保護(hù)的頁(yè)面;若robots.txt文件存在，則網(wǎng)絡(luò)爬蟲(chóng)會(huì)按照該文件的內(nèi)容確定訪問(wèn)網(wǎng)站的范圍。

robots.txt文件中的內(nèi)容有著一套通用的寫(xiě)作規(guī)范。下面以豆瓣網(wǎng)站根目錄下的robots.txt文件為例，分析robots.txt文件的語(yǔ)法規(guī)則。

User-agent: *
Disallow: /subject_search
…
Disallow: /share/
Allow: /ads.txt
Sitemap: https://www.douban.com/sitemap_index.xml
Sitemap:
https://www.douban.com/sitemap_updated_index.xml
# Crawl-delay: 5
User-agent: Wandoujia Spider
Disallow: /
User-agent: Mediapartners-Google

robots.txt文件選項(xiàng)說(shuō)明

User-agent：用于指定網(wǎng)絡(luò)爬蟲(chóng)的名稱。若該選項(xiàng)的值為“*”，則說(shuō)明robots.txt文件對(duì)任何網(wǎng)絡(luò)爬蟲(chóng)均有效。帶有“*”號(hào)的User-agent選項(xiàng)只能出現(xiàn)一次。例如，示例的第一條語(yǔ)句User-agent:*。

Disallow：用于指定網(wǎng)絡(luò)爬蟲(chóng)禁止訪問(wèn)的目錄。若Disallow選項(xiàng)的內(nèi)容為空，說(shuō)明網(wǎng)站的任何內(nèi)容都是被允許訪問(wèn)的。在robots.txt文件中，至少要有一個(gè)包含Disallow選項(xiàng)的語(yǔ)句。例如，Disallow:/subject_search禁止網(wǎng)絡(luò)爬蟲(chóng)訪問(wèn)目錄/subject_search。

注意：Robots協(xié)議只是一個(gè)網(wǎng)站與網(wǎng)絡(luò)爬蟲(chóng)之間達(dá)成的“君子”協(xié)議，它并不是計(jì)算機(jī)中的防火墻，沒(méi)有實(shí)際的約束力。如果把網(wǎng)站比作私人花園，那么robots.txt文件便是私人花園門口的告示牌，這個(gè)告示牌上寫(xiě)有是否可以進(jìn)入花園，以及進(jìn)入花園后應(yīng)該遵守的規(guī)則，但告示牌并不是高高的圍欄，它只對(duì)遵守協(xié)議的“君子”有用，對(duì)于違背協(xié)議的人而言并沒(méi)有太大的作用。

盡管Robots協(xié)議沒(méi)有一定的強(qiáng)制約束力，但網(wǎng)絡(luò)爬蟲(chóng)仍然要遵守協(xié)議，違背協(xié)議可能會(huì)存在一定的法律風(fēng)險(xiǎn)。