蜘蛛來到網(wǎng)站是好事，但是通過蜘蛛訪問記錄我卻發(fā)現(xiàn)了很大的一個問題，往往蜘蛛來到網(wǎng)站之后抓取了4,5個頁面就離開了，這是怎么一回事呢?相信很多站長都感覺到從6月份的事件之后，百度蜘蛛很不穩(wěn)定吧，我的網(wǎng)站也是一樣，從6月份過后蜘蛛每次來了抓取幾個頁面就走了，這樣網(wǎng)站的收錄也一直沒有提升上去，最后我對網(wǎng)站進行了一次大檢查，然后對網(wǎng)站的鏈接進行了整理，還別說，經(jīng)過整理后的網(wǎng)站，蜘蛛每次來抓取的頁面達到了20、30，下面我來分享一下我的檢查方法與整治方法。
我覺得蜘蛛剛開始不深入的原因第一種可能是導(dǎo)航鏈接沒有設(shè)置對，蜘蛛不能夠通過導(dǎo)航鏈接進入你網(wǎng)站的深處，那么它怎么去抓取內(nèi)容頁面呢?第二種可能是蜘蛛遇到了死鏈接，搜索引擎蜘蛛準備抓取下一個頁面的時候卻無法爬行，那么網(wǎng)站的死鏈接就成為了罪魁禍首，逼百度蜘蛛離開網(wǎng)站。第三種可能就是長時間的不更新站點內(nèi)容也會導(dǎo)致百度蜘蛛?yún)挓?/p>
第一、重新設(shè)置網(wǎng)站導(dǎo)航鏈接
網(wǎng)站的導(dǎo)航鏈接是用戶的指導(dǎo)線，也是搜索引擎蜘蛛的指引線，良好的導(dǎo)航路線能夠幫助搜索引擎蜘蛛從網(wǎng)站的首頁逐步的貫穿網(wǎng)站的整個頁面，這樣就要求我們在設(shè)立網(wǎng)站導(dǎo)航的時候要一層層的設(shè)立，下面我來談?wù)勗O(shè)置導(dǎo)航鏈接的幾點要求：
1、導(dǎo)航鏈接要就近原則，我們在設(shè)置導(dǎo)航鏈接的時候不要將搜索引擎蜘蛛看得太深奧了，其實他就是一個抓取的工具，而最容易抓取的是什么，就是最近的事物。因此我們在利用導(dǎo)航鏈接的時候可以通過導(dǎo)航鏈接導(dǎo)入下一層欄目鏈接，而下一層欄目鏈接才導(dǎo)入內(nèi)容頁面，這就是一層層的導(dǎo)入方法。
2、導(dǎo)入的URL不要太復(fù)雜，我覺得網(wǎng)站的URL地址可以設(shè)置簡單一些，就用一款PHP的程序，目錄設(shè)置簡單一些，那么蜘蛛在爬行抓取的時候也相對容易一些。
第二、死鏈接必須清理，留下就是禍害
死鏈接對網(wǎng)站的阻礙作用非常大，稍不注意死鏈接就有可能對網(wǎng)站產(chǎn)生致命的影響，檢查死鏈接可以利用chinaz中的工具，而清理死鏈接就相對困難一些了。現(xiàn)在我清理網(wǎng)站死鏈接的方法是通過游覽器FTP中的搜索功能，先在查詢工具中將死鏈接的地址進行復(fù)制，復(fù)制之后再通過游覽器FTP的查找功能，找到它在哪個文件之中，最后在進行刪除，很多站長會說我這個方法很麻煩，但是我想說這個方法確實最有效的方法，那些清理死鏈接的工具我也用過，大多都是假的，根本就無法完成清理工作。
第三、文章內(nèi)容鏈接進行合理布局
我們在網(wǎng)站的文章內(nèi)容之中也不要忘記了鏈接布局這種形式，在進行常規(guī)性的文章更新工作的時候我們可以將文章中的關(guān)鍵詞作一個鏈接指向，指向其它的文章內(nèi)容頁面或者網(wǎng)站的欄目頁面，這樣搜索引擎蜘蛛在抓取了這篇文章內(nèi)容之后就會向下一篇文章內(nèi)容進行抓取，這也間接性的提高了搜索引擎蜘蛛抓取的頁面進度與力度，大家可以想一下，一個中心匯出來了無數(shù)的點，蜘蛛能不高興嗎?這代表他能夠吃到的食物更豐富，這也是我們在進行文章內(nèi)容頁面鏈接布局的關(guān)鍵點。
通過前面的三種方法讓網(wǎng)站的結(jié)構(gòu)呈現(xiàn)遞進化的趨勢，通過層層引入、蜘蛛抓取的方法讓網(wǎng)站的收錄得到極大的提高，有時候搜索引擎蜘蛛并不是不想抓取你的網(wǎng)站，而是你的網(wǎng)站垃圾太多了，每隔一周檢查網(wǎng)站的鏈接也是很有必要的，這也是提高搜索引擎抓取力度的一個因素。 |
返回頂部