1. 首頁 > 生活百科 > >

百度蜘蛛叫Baiduspider不是baidubot

小知識

【百度蜘蛛叫Baiduspider不是baidubot】【baiduspider】百度蜘蛛叫Baiduspider不是baidubot

百度蜘蛛叫Baiduspider不是baidubot

文章插圖
今天又遇到有同學問我關于ROBOTS該如何去寫的問題 ， 這里整理下給大家 ， 其實也都是來源于網路上 ， 注意百度的蜘蛛叫做Baiduspider而不是baidubot ， 谷歌的叫做googlebot 。 1、禁止所有搜索引擎訪問網站的任何部分 User-agent:* Disallow:/ 2、允許所有的robot訪問(或者也可以建一個空文件"/robots.txt") User-agent:* Allow:/ 另一種寫法是 User-agent:* Disallow: 3、僅禁止Baiduspider訪問您的網站 User-agent:Baiduspider Disallow:/ 4、僅允許Baiduspider訪問您的網站 User-agent:Baiduspider Allow:/ 5、禁止spider訪問特定目錄 在這個例子中 ， 該網站有三個目錄對搜索引擎的訪問做了限制 ， 即robot不會訪問這三個目錄 。 需要注意的是對每一個目錄必須 分開聲明 ， 而不能寫成"Disallow:/cgi-bin//tmp/" 。 User-agent:* Disallow:/cgi-bin/ Disallow:/tmp/ Disallow:/~joe/ 6、允許訪問特定目錄中的部分url User-agent:* Allow:/cgi-bin/see Allow:/tmp/hi Allow:/~joe/look 7、使用"*"限制訪問url 禁止訪問/cgi-bin/目錄下的所有以".htm"為后綴的URL(包含子目錄) 。 User-agent:* Disallow:/cgi-bin/*.htm 8、使用"$"限制訪問url 僅允許訪問以".htm"為后綴的URL 。 User-agent:* Allow:/.htm$ 9、禁止訪問網站中所有的動態頁面 User-agent:* Disallow:/*?* 10、禁止Baiduspider抓取網站上所有圖片 僅允許抓取網頁 ， 禁止抓取任何圖片 。 User-agent:Baiduspider Disallow:/*.jpg$ Disallow:/*.jpeg$ Disallow:/*.gif$ Disallow:/*.png$ Disallow:/*.bmp$ 11、僅允許Baiduspider抓取網頁和gif格式圖片 允許抓取網頁和gif格式圖片 ， 不允許抓取其他格式圖片 User-agent:Baiduspider Allow:.gif$ Disallow:/.jpg$ Disallow:/.jpeg$ Disallow:/.png$ Disallow:/.bmp$ 12、僅禁止Baiduspider抓取jpg格式圖片 User-agent:Baiduspider Disallow:/.jpg$

    推薦閱讀