|
搜索引擎蜘蛛是搜索引擎本身的一個程序，它的作用是對網站的網頁進行訪問，抓取網頁的文字、圖片等信息，建立一個數據庫，反應給搜索引擎，當用戶進行搜索候，搜索引擎就會把搜集到的信息過濾，經過復雜的排序算法將它對用戶有用的信息呈現出來。深化剖析網站的SEO表現時，通常我們就會搜索引擎蜘蛛的抓取質量，而其中可以幫我們優化網站可能會接觸到下面的幾個蜘蛛抓取相關的概念：
1.爬取率：就是在你既定的時間里網站被蜘蛛獲取的頁面數量。
2.爬取頻率：搜索引擎多久對網站或者單個網頁發起一次新的爬行。
3.爬取深度：一個蜘蛛從開始位置可以點擊的深度。
4.爬取飽和度：頁面被獲取的數量。
5.爬取優先：那些頁面常作為蜘蛛的入口。
6.爬取冗余度：網站一般被多少蜘蛛同時爬取。
7.爬取mapping：蜘蛛爬取路徑還原。
1、進步爬取頻率進步提升收錄
搜索引擎蜘蛛的爬取頻率很多時候是由網站內容的質量決定，由于只要網站有更新更好的內容，才會吸引蜘蛛來重復抓取，例如很多大型的內容網站，每天更新大量的內容，這樣就把蜘蛛不斷留在了站內，頁面抓取的頻率自然會進步。而提升了爬取頻率，關于頁面中內容和鏈接的更新就會被搜索引擎蜘蛛更快的抓取到，可以更充沛的收錄網站的頁面內容信息。
很多朋友都說本人的網站快照不更新，或者滯后好幾天，個人覺得也是蜘蛛抓取的頻率不夠形成的。要想快照更新快，特別是新站，前期一定要多做內容建立，內容頁面假如沒有內容的更新，普通蜘蛛可能不會抓取收錄，或者抓取了但是不返回數據，當下次用戶搜索時分可能就會調用搜索引擎數據庫中存儲的一些數據。
2、研討蜘蛛爬取習氣并優化習氣
至于后面談到搜索引擎蜘蛛的爬取深度，飽和度，優先爬取，冗余度以及爬取途徑都是關于蜘蛛爬取習氣和爬取戰略的研討，由于現在也沒有針對性的去理論剖析，所以只能在理論上談談本人的一些想法。
搜索引擎蜘蛛的爬取深度假如不夠深，主要是由于網站在構造規劃的時分沒有思索到這蜘蛛能否可以充沛抓取或者能否依照一層一層的抓取，這里就觸及到鏈接入口的規劃，也就會思索到蜘蛛爬取優先的一些入口，很多時分對一些大的網站做診斷，來提升其流量和收錄主要的戰略規劃就是優化蜘蛛抓取優先的入口，完成的辦法就是采用nofollow標簽屏蔽一些頁面。還需求剖析的可能是爬取的飽和度，由于關于單個頁面的爬取太多是在糜費蜘蛛資源，我們假如可以恰當的控制這些資源的分配，那么關于頁面的抓取和收錄的提升肯定有很大的協助。
|
