- 作者:admin
- 發(fā)表時(shí)間:2022-08-19 15:35:00
- 來(lái)源:
1、網(wǎng)站部分資源不希望被百度蜘蛛訪問(wèn)該怎么做?
百度蜘蛛遵守互聯(lián)網(wǎng)robots協(xié)議。站長(zhǎng)可以更新robots.txt文件,文件中明確不希望百度蜘蛛訪問(wèn)資源或目錄等,并及時(shí)通過(guò)搜索資源平臺(tái)-【Robots】工具,提交robots文件。
需要注意,robots文件更新和提交后,搜索引擎需要逐漸完成更新,所以百度蜘蛛不是立即停止抓取網(wǎng)頁(yè),請(qǐng)耐心等待。
2 、網(wǎng)站封禁百度蜘蛛,可能會(huì)帶來(lái)哪些影響?
網(wǎng)站資源優(yōu)質(zhì),也沒(méi)有其他違規(guī)問(wèn)題,但是存在以下情況,可以先自查是否存在封禁百度蜘蛛的問(wèn)題,及時(shí)解除封禁(解除封禁參考QA7),等待恢復(fù)。
(1)沒(méi)有查詢到百度蜘蛛任何抓取記錄。
(2)在百度搜索中沒(méi)有得到收錄和展現(xiàn)。
(3)網(wǎng)站/目錄存在流量異常下降的情況。
(4)在搜索結(jié)果中的摘要展現(xiàn)為“存在robots封禁”字樣。
3 、如何解除封禁百度蜘蛛?
常見(jiàn)的封禁行為包括robots封禁、封禁百度UA、封禁百度IP這三種,可以逐一排查解決。
自查robots封禁
查看robots.txt文件,是否存在封禁記錄。(一般robots.txt文件放置在網(wǎng)站根目錄下。)
自查是否封禁百度UA
robots文件無(wú)異常的情況下,進(jìn)一步排查是否存在封禁百度UA情況。
第一種方法:執(zhí)行 curl --head --user-agent 'Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)' --request GET 'xxxxxxx'
注意:正常返回碼是200,其他情況為異常。
第二種方法:變更瀏覽器UA驗(yàn)證。
自查是否存在IP封禁
以上驗(yàn)證均無(wú)異常,最后進(jìn)一步排查是否存在IP級(jí)別的封禁。
常見(jiàn)的IP封禁,源自網(wǎng)站的防火墻系統(tǒng)配置,需要查看防火墻配置系統(tǒng)后臺(tái),檢查是否存在百度蜘蛛的IP級(jí)別封禁措施。
合作
咨詢
幫助
建站咨詢 