百度嚴(yán)格遵循搜索引擎Robots協(xié)議
您可以寫(xiě)一個(gè)Robots文件以限制您的網(wǎng)站全部網(wǎng)頁(yè)或者部分目錄下網(wǎng)頁(yè)不被百度收錄。具體寫(xiě)法,參見(jiàn):如何撰寫(xiě)Robots文件。
如果您的網(wǎng)站是在被百度收錄之后再設(shè)置Robots文件,則Robots文件通常在兩周內(nèi)生效,被文件限制的內(nèi)容,將從百度搜索結(jié)果中移除。
如果您的拒絕被收錄需求非常急迫,也可以發(fā)郵件給webmaster@baidu.com請(qǐng)求處理。
為什么我的網(wǎng)站內(nèi)一些不設(shè)鏈接的私密性網(wǎng)頁(yè),甚至是需要訪(fǎng)問(wèn)權(quán)限的網(wǎng)頁(yè),也會(huì)被百度收錄?
百度Spider對(duì)網(wǎng)頁(yè)的抓取,是通過(guò)網(wǎng)頁(yè)與網(wǎng)頁(yè)之間的鏈接實(shí)現(xiàn)的。
網(wǎng)頁(yè)之間的鏈接類(lèi)型,除了站點(diǎn)內(nèi)部的頁(yè)面鏈接之外,還有不同網(wǎng)站之間的互相鏈接。因此,某些網(wǎng)頁(yè)即便通過(guò)您的網(wǎng)站內(nèi)部鏈接無(wú)法訪(fǎng)問(wèn)到,但是,如果別人的網(wǎng)站上有指向這些頁(yè)面的鏈接,那么這些頁(yè)面還是會(huì)被搜索引擎所收錄。
百度Spider的訪(fǎng)問(wèn)權(quán)限,和普通用戶(hù)是一樣的。因此,普通用戶(hù)沒(méi)有權(quán)限訪(fǎng)問(wèn)的內(nèi)容,Spider也沒(méi)有權(quán)限訪(fǎng)問(wèn)。之所以看上去某些訪(fǎng)問(wèn)權(quán)限限制內(nèi)容被百度收錄,原因有兩點(diǎn):
A. 該內(nèi)容在Spider訪(fǎng)問(wèn)時(shí)是沒(méi)有權(quán)限限制的,但抓取之后,內(nèi)容的權(quán)限發(fā)生了變化
B. 該內(nèi)容有權(quán)限限制,但是由于網(wǎng)站安全漏洞問(wèn)題,導(dǎo)致用戶(hù)可以通過(guò)某些特殊路徑直接訪(fǎng)問(wèn)。而一旦這樣的路徑被公布在互聯(lián)網(wǎng)上,則Spider就會(huì)循著這條路徑抓出受限內(nèi)容
如果您不希望這些私密性?xún)?nèi)容被百度收錄,一方面可以通過(guò)Robots協(xié)議加以限制;另一方面,也可以聯(lián)系webmaster@baidu.com進(jìn)行解決。
掃一掃關(guān)注官方微信