網(wǎng)頁長度也會(huì)影響網(wǎng)站收錄嗎?百度站長學(xué)院前幾天公布了一個(gè)案例,里面提到一些細(xì)節(jié),特別值得站長重視。它這個(gè)頁面對(duì)爬蟲爬取做的優(yōu)化,直接將圖片二進(jìn)制內(nèi)容放到了html中導(dǎo)致頁面長度過長,大小164K,導(dǎo)致內(nèi)容不被百度收錄。
網(wǎng)站如果針爬蟲做優(yōu)化,那么網(wǎng)頁的長度最要在128K以內(nèi),不要過長。不然爬蟲抓取內(nèi)容后,頁面內(nèi)容過長被截?cái)啵炎ト〔糠譄o法識(shí)別到主體內(nèi)容,最終導(dǎo)致頁面被認(rèn)定為空短而不收錄。
言下之意,這可能是百度技術(shù)缺陷導(dǎo)致,如果網(wǎng)頁在128K以上,爬蟲無法抓取就無法收錄。如果各位站長的網(wǎng)站內(nèi)容過長,盡量刪除一部分不太重要的信息,以保證內(nèi)容收錄。
百度工程師建議:
1、不建議站點(diǎn)使用js生成主體內(nèi)容,如js渲染出錯(cuò),很可能導(dǎo)致頁面內(nèi)容讀取錯(cuò)誤,頁面無法抓取
2、 如站點(diǎn)針對(duì)爬蟲爬取做優(yōu)化,建議頁面長度在128k之內(nèi),不要過長
3、針對(duì)爬蟲爬取做優(yōu)化,請(qǐng)將主題內(nèi)容放于前方,避免抓取截?cái)嘣斐傻膬?nèi)容抓取不全