模板建站動態

　　【baiduspider】百度蜘蛛叫Baiduspider不是baidubot

　　今天又遇到有同學問我關於ROBOTS該如何去寫的問題，這裡整理下給大傢，其實也都是來源於網路上，註意百度的蜘蛛叫做Baiduspider而不是baidubot，谷歌的叫做googlebot。

　　1、禁止所有搜索引擎訪問網站的任何部分

　　User-agent:*

　　Disallow:/

　　2、允許所有的robot訪問(或者也可以建一個空文件"/robots.txt")

　　User-agent:*

　　Allow:/

　　另一種寫法是

　　User-agent:*

　　Disallow:

　　3、僅禁止Baiduspider訪問您的網站

　　User-agent:Baiduspider

　　Disallow:/

　　4、僅允許Baiduspider訪問您的網站

　　User-agent:Baiduspider

　　Allow:/

　　5、禁止spider訪問特定目錄

　　在這個例子中，該網站有三個目錄對搜索引擎的訪問做瞭限制，即robot不會訪問這三個目錄。需要註意的是對每一個目錄必須

　　分開聲明，而不能寫成"Disallow:/cgi-bin//tmp/"。

　　User-agent:*

　　Disallow:/cgi-bin/

　　Disallow:/tmp/

　　Disallow:/~joe/

　　6、允許訪問特定目錄中的部分url

　　User-agent:*

　　Allow:/cgi-bin/see

　　Allow:/tmp/hi

　　Allow:/~joe/look

　　7、使用"*"限制訪問url

　　禁止訪問/cgi-bin/目錄下的所有以".htm"為後綴的URL(包含子目錄)。

　　User-agent:*

　　Disallow:/cgi-bin/*.htm

　　8、使用"$"限制訪問url

　　僅允許訪問以".htm"為後綴的URL。

　　User-agent:*

　　Allow:/.htm$

　　9、禁止訪問網站中所有的動態頁面

　　User-agent:*

　　Disallow:/*?*

　　10、禁止Baiduspider抓取網站上所有圖片

　　僅允許抓取網頁，禁止抓取任何圖片。

　　User-agent:Baiduspider

　　Disallow:/*.jpg$

　　Disallow:/*.jpeg$

　　Disallow:/*.gif$

　　Disallow:/*.png$

　　Disallow:/*.bmp$

　　11、僅允許Baiduspider抓取網頁和gif格式圖片

　　允許抓取網頁和gif格式圖片，不允許抓取其他格式圖片

　　User-agent:Baiduspider

　　Allow:.gif$

　　Disallow:/.jpg$

　　Disallow:/.jpeg$

　　Disallow:/.png$

　　Disallow:/.bmp$

　　12、僅禁止Baiduspider抓取jpg格式圖片

　　User-agent:Baiduspider

　　Disallow:/.jpg$

培戀網絡原創版權，轉載請註明出處：

培戀網原創版權，網站建設提供網站代運營、模板網站制作轉載請注明出處,本文地址：http://www.gdszrq.com/news/50188.html