這兩天,我收到百度的反饋,網站抓取異常,這讓我很困擾。很明顯,百度站長平臺抓取診斷工具的檢測可以成功。為什么抓取異常?我不明白。結果,編輯到互聯網查看上午的信息,獲得的信息概括為網站關鍵詞優化中爬行異常的常見原因包括以下幾點:
1、服務器連接異常
服務器連接異常有兩種情況:一是網站不穩定,百度Pider在嘗試連接時暫時無法連接到您網站的服務器;二是百度Pider一直無法連接到您網站的服務器。
服務器連接異常的原因通常是您的網站服務器太大,負載過重。您的網站也可能運行不正常。請檢查網站的web服務器(如apache、iis)是否正常安裝和運行,并使用瀏覽器檢查主頁面是否可以正常訪問。您的站點和主機也可以阻止Baiduspuder訪問,并且您需要檢查站點和主機的防火墻。
2、網絡運營商例外:網絡運營商分為電信和聯通兩類。百度Pider無法通過電信或網通訪問您的網站。如果發生這種情況,您需要與網絡服務提供商聯系,或者使用雙線服務購買空間,或者購買CDN服務。
3、DNS異常:當Baiduspider無法解析您網站的IP地址時,將出現DNS異常。這可能是站點IP地址中的錯誤,也可能是域名服務提供商阻塞Baidupider。請使用whois或host檢查您網站的IP地址是否正確和可解析。如果沒有,請聯系域名注冊商更新您的IP地址。
4、IP阻塞:IP阻塞是:限制網絡的退出IP地址,禁止用戶訪問IP段的內容,在這種情況下,特別是封鎖百度IP。此設置僅在您的網站不希望百度Pider訪問時才需要。如果您希望百度Pider訪問您的網站,請檢查百度Pider IP是否錯誤地添加到相關設置中。當您需要與服務提供商聯系以更改設置時,也有可能您所在站點所在的空間服務提供商已經禁止了百度IP。
5個。UA阻塞:UA是用戶代理。服務器通過UA識別訪客的身份。當站點為指定的UA訪問時,返回異常頁面(如403,500頁)或跳轉到其他頁面的情況下,即UA被阻塞。此設置僅在您不希望baidu pider訪問您的網站時才需要。如果你想百度皮德爾訪問你的網站,是否有百度皮德爾在用戶代理相關設置和修改它的時間。
6.
死鏈:頁面無效,不能向用戶提供任何有價值信息的頁面是死鏈接,包括協議死鏈和內容死鏈兩種形式:
協議死鏈:頁面的TCP協議狀態/HTTP協議狀態清楚地表示出死鏈,如404、403、503狀態等。
內容死鎖:服務器的返回狀態是正常的,但內容已更改為不存在、刪除或需要權限和其他獨立于原始內容的信息頁。對于死鏈,我們建議網站使用協議死鏈,通過百度站長平臺死鏈工具提交給百度,這樣百度可以更快地找到死鏈,減少死鏈對用戶和搜索引擎的負面影響。
綜上所述,我們很可能理解百度蜘蛛爬行的原理,這是網站流量的保證,百度蜘蛛爬行是收集的保證,所以網站只能根據百度蜘蛛爬行規則獲得更好的排名。
培戀網原創版權,網站建設提供網站代運營、模板網站制作轉載請注明出處,本文地址:http://www.gdszrq.com/news/video/73389.html