大家一定在想，蔡江SEO 你分享的什么破文章，分享了半天，雖然有點與SEO沾邊，但是卻沒有一個是真實的在做SEO的東西!于是呢，蔡江今天就給大家開始分享真實的在 “做”SEO的東西。今天蔡江給大家分享的是入門開始做網站時第一個應該明白的東東，同時也是蜘蛛到一個網站第一個要訪問的東東，一定有人猜出來是什么東 東了吧。對，就是Robots的作用與寫法。
下面就聽 蔡江SEO 娓娓道來吧!
一、 什么是robots?有什么用?
“Robots”被一些同行朋友叫作“蘿卜絲”，它是搜索引擎的機器協議。全稱是“網絡爬蟲排除協議”。網站通過Robots協議來告訴搜索引擎，哪些頁面可以抓取，哪些頁面不能夠抓取。
因為網站的很多目錄如果被抓取是有風險的，或者是因為利益原因不能被抓取，所以需要告訴蜘蛛人你網站允許與不允許的情況。
Robots是放在網站根目錄下面，名稱為：robots.txt
二、 Robot有哪些指令?
Robots 的指令很簡單，只有三個指令，一般我們也會把地圖放在上面，方便蜘蛛進站抓完Robots就直接順著地圖爬。
User-agent: 此指令定義了此指令下面的內容對哪些蜘蛛有效。默認所有蜘蛛都允許抓取，如果此指令指定了特定的蜘蛛，那么此指令下跟的內容就對特定蜘蛛有效。
Disallow: 此指令定義了禁止蜘蛛抓取哪些因為，有些人可能認為，做網站當然都希望被抓取了。錯，如果是后臺或是隱私文件，相信誰都不愿意被抓取的。
Allow: 此指令定義了允許蜘蛛抓些哪些內容，如果是某些內容允許，其它全部拒絕，則可以用這個指令，大多數網站只用到禁止指令。
Sitemap: 顧名思義，就是我們常說的站點地圖了。在這里我們就不詳細介紹站點地圖了，蔡江WEO會在下一節給大家詳細介紹 站點地圖 的作用與用法。我們把站點地圖放在Robots下面，可以方便蜘蛛直接在訪問Robots時就訪問到你的地圖位置。
三、 Robots的寫法
1、 User-agent: 是用來定義蜘蛛名的：常見的蜘蛛名包括：Baiduspider、Googlebot、MSNBot、Baiduspider-image、YoudaoBot、Sogou web spider、Sogou inst spider、Sogou spider2、Sogou blog、Sogou News Spider、Sogou Orion spider、Sosospider、PangusoSpider、JikeSpider、yisouspider、EasouSpider。
2、 Disallow：
是用來定義什么內容不允許蜘蛛抓取，robots中最難用，而且最常出現問題的就是Disallow指令。或者說整個robots的精髓就在于Disallow,學好了這個指令的用法你就能寫出完美的Robots.下面我就把我們最常用到的一些Disallow的用法給大家列出來。
禁止整站被抓取：
Disallow: /
禁止根目錄下的woniu
seo目錄抓取：
Disallow: /woniu
seo/
禁止根目錄下的woniu
seo目錄下的單個頁面woniu
seo.html被抓取：
Disallow：/woniu
seo/woniu
seo.html
禁止全站含有?的頁面被抓取：
Disallow: /*?*
禁止全站含有woniu
seo的頁面被抓取：
Disallow: /*woniu
seo*
禁止全站后綴為.aspx的頁面被抓取：
Disallow: /*.aspx$
禁止全站后綴為.jpg的文件被抓取：
Disallow:/*.jpb$
3. Allow:
允許命令一般不單獨拿來使用，允許命令一般是先允許某個目錄被抓取，然后再禁止其它所有頁面被抓取。
允許所有頁面被抓取：
Allow: /
允許woniu
seo的目錄被抓取：
Allow: /woniu
seo/
允許抓取.html的頁面：
Allow: /*.html$
允許抓取.jpg的圖片：
Allow: /*.jpg$
四、 Robots的應用
蔡江自己的網站的robots文件是這樣寫的：
User-agent: *Disallow: /wp-admin/Disallow: /wp-content/Disallow: /wp-includes/Disallow: /tag/Disallow: /wp-config.phpAllow: /
sitemap:http://www.woniu
seo.com/sitemap.xml
禁止所有搜索引擎抓取所有頁面：
User-agent: *
Disallow: /
這種情況一般用在新站建好還沒正式上線，不希望蜘蛛抓取時。
禁止百度蜘蛛抓取所有頁面：
User-agent: Baiduspider
Disallow: /
淘寶就因為與百度的利益關系，從2008年就禁止百度抓取它所有頁面了。
僅允許百度蜘蛛抓取所有頁面：
User-agent: Baiduspider
Allow: /
User-agent: *
Disallow: /
禁止所有蜘蛛抓取特定的目錄和頁面,允許其它所有：
User-agent: *
Disallow: /sys-admin/
Disallow: /aboutwoniu.html
Allow: /
僅允許蜘蛛抓取.html的頁面與.jpg的圖片：
User-agent:*
Allow: /*.html$
Allow: /*.jpg$
Disallow:/
禁止所有動態的頁面的抓取，允許其它：
User-agent: *
Disallow: /*?*
Allow: /
允許某個目錄下某個目錄被抓取，禁止其它
User-agent: *
Allow: /woniu
seo/woniu
seo/
Disallow:/woniu
seo/
五、 關于robots的網絡大事件
淘寶封殺
2008年9月8日，淘寶網宣布封殺百度爬蟲，百度忍痛遵守爬蟲協議。因為一旦破壞協議，用戶的隱私和利益就無法得到保障，搜索網站就談不到人性關懷
京東封殺
2011年10月25日，京東商城正式將一淘網的搜索爬蟲屏蔽，以防止一淘網對其的內容抓取。
BE違規抓取Evay
美國BE拍賣公司無視Ebey公司網站 robots協議，終于2000年2月被告上法庭，最終被判Be侵權。
360搜索無視robots協議
2012年8月，360綜合搜索被指違反robots協議，被業內指為“違規”警告。
如果大家看完上面的指令還有疑問一話，請大家訪問“蔡江SEO博客”留言或者直接加入 蔡江SEO博客 的官方群，找博主來看大家的Disallow應該怎么寫才對。關于Robots的用法還有很多很多，蔡江SEO 在這里沒法一一列舉出來，如果大家對Robots還有疑問。請大家訪問“蔡江SEO博客”。在這里，我會給大家量解答大家的疑問。另外我也會在自己的博客里面分享更多SEO相關的知識，希望能夠對大家SEO的道路有一點幫助。
培戀網原創版權，網站建設提供網站代運營、模板網站制作轉載請注明出處,本文地址：http://www.gdszrq.com/news/dontai/71668.html
2023-04-20
分享
在線咨詢
