什么是Baiduspider？
Baiduspider是百度搜索引擎的一個自動程序，它的作用是訪問互聯(lián)網(wǎng)上的網(wǎng)頁，建立索引數(shù)據(jù)庫，使用戶能在百度搜索引擎中搜索到您網(wǎng)站上的網(wǎng)頁。
Baiduspider的user-agent是什么？
百度各個產(chǎn)品使用不同的user-agent：

產(chǎn)品名稱	對應(yīng)user-agent
無線搜索	Baiduspider-mobile
圖片搜索	Baiduspider-image
視頻搜索	Baiduspider-video
新聞搜索	Baiduspider-news
百度搜藏	Baiduspider-favo
百度聯(lián)盟	Baiduspider-cpro
網(wǎng)頁以及其他搜索	Baiduspider

如何判斷是否冒充Baiduspider的抓?。?BR>您可以使用host ip命令反解ip來判斷Baiduspider的抓取是否冒充。Baiduspider的hostname以*.baidu.com的格式命名，非*.baidu.com即為冒充。
 

$ host 123.125.66.120
120.66.125.123.in-addr.arpa domain name pointer baiduspider-123-125-66-120.crawl.baidu.com.

通過robots協(xié)議 屏蔽百度抓取網(wǎng)站或網(wǎng)站的某些頁面

以下robots實(shí)現(xiàn)禁止所有來自百度的抓?。?
User-agent: Baiduspider
Disallow: /

以下robots實(shí)現(xiàn)僅禁止來自百度視頻搜索的抓?。?
User-agent: Baiduspider-video
Disallow: /

以下robots實(shí)現(xiàn)禁止所有來自百度的抓取但允許圖片搜索抓取/image/目錄：
User-agent: Baiduspider
Disallow: /

User-agent: Baiduspider-image
Allow: /image/

請注意：Baiduspider-cpro抓取的網(wǎng)頁并不會建入索引，只是執(zhí)行與客戶約定的操作，所以不遵守robots協(xié)議