在我們一個新的網(wǎng)站搭建好之后,要想讓搜索引擎盡快收錄,就要吸引蜘蛛盡快來我們的網(wǎng)站進(jìn)行抓取。要想搞清楚百度蜘蛛的爬行思路,那么我們要分析百度蜘蛛是從哪幾個渠道來到你網(wǎng)站的,企盾分響認(rèn)為,百度蜘蛛主要從這三個方面來爬行你的站點的。
搜索引擎提交
當(dāng)我們建好網(wǎng)站以后,我們會把網(wǎng)站的鏈接主動提交到搜索引擎,經(jīng)過我們這樣一提交,那么搜索引擎知道你的站點,這才考慮收錄,當(dāng)然如果我們首頁被收錄了以后,我們會做網(wǎng)站地圖,然后提交到搜索引擎,做的多一點的人會做主動提交功能來實現(xiàn)自動提交到搜索引擎,那么這樣一來搜索引擎能夠很快的知道你的網(wǎng)站。
瀏覽器偷窺
當(dāng)我們建好站點以后,我們將網(wǎng)頁不發(fā)給然后人,僅僅使用瀏覽器打開一下,那么這一下瀏覽器可以偷窺到你的網(wǎng)址鏈接,從而主動提交到搜索引擎,達(dá)到收錄的效果,那么這一證據(jù),360曾測試過百度搜索引擎,360的工作人員建了一個站點,僅僅使用百度瀏覽器打開,第二天居然網(wǎng)頁被收錄了。如果說不是百度瀏覽器偷窺到這個站點的域名,百度沒有其他渠道可以抓取到這個鏈接的。
外鏈抓取
那么第三個也就是我們發(fā)布的外鏈,搜索引擎會抓取一些已經(jīng)收錄的站點,從別人的站點上看到了你的網(wǎng)址,從而來到你的站點抓取你的網(wǎng)站,達(dá)到收錄的效果,所以我們做SEO的經(jīng)常發(fā)布外鏈,當(dāng)然發(fā)布外鏈不僅僅是讓搜索引擎收錄,本文僅僅只是介紹收錄。所以外鏈的其他作用,這里就不多做介紹了。
如何讓百度蜘蛛迷路
那么我們了解到百度蜘蛛是通過上面三個渠道抓取你的站點,我們也可以很好的讓百度蜘蛛在你的站點迷路,迷路是什么意思呢,簡單的說就是讓蜘蛛來到你網(wǎng)站,根本出不去,可以抓取到更多的頁面。
方法一:在首頁建立很多個錨文本內(nèi)鏈,因為一個網(wǎng)站最容易被抓取的是首頁,那么我們將首頁的權(quán)重分散到任何頁面,在首頁建立很多個內(nèi)鏈,這樣可以將首頁的蜘蛛很好的分散到其他頁面,但首頁的權(quán)重相對也會降低,這樣首頁基本是做不了排名的。并且首頁的錨文本鏈接每天更換。
曾經(jīng)在黑帽淘寶客站點上看到的一種SEO思路,首頁沒有任何關(guān)鍵詞排名,內(nèi)頁600萬個,關(guān)鍵詞600萬個,首頁每天不斷更換關(guān)鍵詞,不斷讓百度蜘蛛抓取新的頁面。而新的頁面底部也會很多個錨文本,這樣下去,百度蜘蛛是非常容易在你的站點迷路。目前這種形式優(yōu)化的站點也有非常多,只是沒有那么明顯。我們可以看得出門戶網(wǎng)站基本比企業(yè)網(wǎng)站收錄的多,為什么呢,因為門戶網(wǎng)站首頁推薦的鏈接比企業(yè)網(wǎng)站多,所以內(nèi)頁收錄相對較多。當(dāng)然這排除企業(yè)網(wǎng)站內(nèi)容比門戶網(wǎng)站內(nèi)容少的情況下。
方法二:建立蜘蛛池程序,讓蜘蛛池程序不斷將百度蜘蛛帶入你的站點,蜘蛛池的原理很簡單,其實就是通過泛域名建立頁面讓搜索引擎抓取泛域名,然后泛域名引蜘蛛到你的新站點上,這樣的泛域名非常多,幾乎上萬個一天,所以引蜘蛛的效果非常好。
但是,目前很多小域名,百度根本不放在眼里,所以就算你建立了再多的泛域名,可能蜘蛛也不會抓取,因此如果你能夠拿到大型網(wǎng)站的泛域名權(quán)限,建立蜘蛛池不斷引蜘蛛到你的站點,那么效果會非常好,當(dāng)然拿不到大型網(wǎng)站的泛域名解析權(quán)限,可以先養(yǎng)一段時間你的域名,這樣也可以出現(xiàn)很好的效果。