百度嚴(yán)格遵循搜索引擎Robots協(xié)議
您可以寫(xiě)一個(gè)Robots文件以限制您的網(wǎng)站全部網(wǎng)頁(yè)或者部分目錄下網(wǎng)頁(yè)不被百度收錄。具體寫(xiě)法，參見(jiàn)：如何撰寫(xiě)Robots文件。
如果您的網(wǎng)站是在被百度收錄之后再設(shè)置Robots文件，則Robots文件通常在兩周內(nèi)生效，被文件限制的內(nèi)容，將從百度搜索結(jié)果中移除。
如果您的拒絕被收錄需求非常急迫，也可以發(fā)郵件給webmaster@baidu.com請(qǐng)求處理。
為什么我的網(wǎng)站內(nèi)一些不設(shè)鏈接的私密性網(wǎng)頁(yè)，甚至是需要訪(fǎng)問(wèn)權(quán)限的網(wǎng)頁(yè)，也會(huì)被百度收錄？
百度Spider對(duì)網(wǎng)頁(yè)的抓取，是通過(guò)網(wǎng)頁(yè)與網(wǎng)頁(yè)之間的鏈接實(shí)現(xiàn)的。
網(wǎng)頁(yè)之間的鏈接類(lèi)型，除了站點(diǎn)內(nèi)部的頁(yè)面鏈接之外，還有不同網(wǎng)站之間的互相鏈接。因此，某些網(wǎng)頁(yè)即便通過(guò)您的網(wǎng)站內(nèi)部鏈接無(wú)法訪(fǎng)問(wèn)到，但是，如果別人的網(wǎng)站上有指向這些頁(yè)面的鏈接，那么這些頁(yè)面還是會(huì)被搜索引擎所收錄。
百度Spider的訪(fǎng)問(wèn)權(quán)限，和普通用戶(hù)是一樣的。因此，普通用戶(hù)沒(méi)有權(quán)限訪(fǎng)問(wèn)的內(nèi)容，Spider也沒(méi)有權(quán)限訪(fǎng)問(wèn)。之所以看上去某些訪(fǎng)問(wèn)權(quán)限限制內(nèi)容被百度收錄，原因有兩點(diǎn)：
A. 該內(nèi)容在Spider訪(fǎng)問(wèn)時(shí)是沒(méi)有權(quán)限限制的，但抓取之后，內(nèi)容的權(quán)限發(fā)生了變化
B. 該內(nèi)容有權(quán)限限制，但是由于網(wǎng)站安全漏洞問(wèn)題，導(dǎo)致用戶(hù)可以通過(guò)某些特殊路徑直接訪(fǎng)問(wèn)。而一旦這樣的路徑被公布在互聯(lián)網(wǎng)上，則Spider就會(huì)循著這條路徑抓出受限內(nèi)容
如果您不希望這些私密性?xún)?nèi)容被百度收錄，一方面可以通過(guò)Robots協(xié)議加以限制；另一方面，也可以聯(lián)系webmaster@baidu.com進(jìn)行解決。