前言： 這是白楊seo公眾號(hào)原創(chuàng)第 220 篇。經(jīng)常有朋友在我的seo付費(fèi)交流群或者私下說(shuō)，網(wǎng)站收錄怎么又下降了，百度好像抓取出問(wèn)題了，原因是什么怎么辦，所以今天就來(lái)分享下哈。
大綱如下：
1、抓取異常是什么？百度抓取異常又是什么？
2、百度抓取異常的原因有哪些？
3、網(wǎng)站抓取異常的原因有哪些？
4、百度抓取異常對(duì)網(wǎng)站有什么影響？
5、網(wǎng)站出現(xiàn)抓取異常的解決方法
抓取異常是什么？百度抓取異常又是什么？
所謂抓取異常，就是指搜索引擎蜘蛛無(wú)法抓取網(wǎng)站頁(yè)面，網(wǎng)站出現(xiàn)的抓取異常就是抓取異常，具體原因是什么下面會(huì)講到。
百度抓取異常是什么？簡(jiǎn)單理解就是百度的蜘蛛（baiduspider）無(wú)法正常抓取，就是百度抓取異常。如上圖，來(lái)源網(wǎng)上。9月3號(hào)，百度蜘蛛來(lái)抓取時(shí)，抓取時(shí)連接超時(shí)2次。
百度抓取異常的原因有哪些？
百度抓取異常的原原因主要分兩大類(lèi)，一是網(wǎng)站異常，二是鏈接異常。在哪里看呢，在百度搜索資源平臺(tái)（https://ziyuan.baidu.com）你添加后數(shù)據(jù)統(tǒng)計(jì)—抓取異常那里，如下圖。
網(wǎng)站異常原因：
1、dns異常
當(dāng)百度蜘蛛（baiduspider）無(wú)法解析您網(wǎng)站的ip時(shí)，會(huì)出現(xiàn)dns異常?？赡苁悄?網(wǎng)站ip地址錯(cuò)誤 ，或者 域名服務(wù)商把baiduspider封禁了 。
可以用whois或者h(yuǎn)ost查詢(xún)自己網(wǎng)站ip地址是否正確而且可以解析，如果不正確或無(wú)法解析，與域名注冊(cè)商聯(lián)系，更西部數(shù)碼站ip地址。
2、連接超時(shí)
抓取請(qǐng)求連接超時(shí)，可能原因是： 服務(wù)器過(guò)載 或 網(wǎng)絡(luò)不穩(wěn)定。
3、抓取超時(shí)
抓取請(qǐng)求連接建立后，下載頁(yè)面速度 過(guò)慢 ，導(dǎo)致超時(shí)。可能原因服務(wù)器過(guò)載， 帶寬不足 。
4、連接錯(cuò)誤
無(wú)法連接或者連接建立后對(duì)方服務(wù)器拒絕。
鏈接異常原因：
1、訪問(wèn)被拒絕
爬蟲(chóng)發(fā)起抓取，httpcode返回碼是403。
2、找不到頁(yè)面
爬蟲(chóng)發(fā)起抓取，httpcode返回碼是404。
3、服務(wù)器錯(cuò)誤
爬蟲(chóng)發(fā)起抓取，httpcode返回碼是5xx
4、其他錯(cuò)誤
爬蟲(chóng)發(fā)起抓取，httpcode返回碼是4xx，不包括403和404。
關(guān)于上面提到的403、404、4xx、5xx等，其實(shí)都是網(wǎng)站http狀態(tài)碼，如果不清楚同學(xué)，可以看這一篇： 白楊seo：seo入門(mén)學(xué)習(xí)之搜索引擎（百度）蜘蛛與網(wǎng)站http狀態(tài)碼 ，再學(xué)習(xí)一下。
網(wǎng)站抓取異常的原因有哪些？
網(wǎng)站抓取異常的原因主要有以下五個(gè)方面：
1、服務(wù)器異常
服務(wù)器連接異常最大的可能是網(wǎng)站服務(wù)器過(guò)大，超負(fù)荷運(yùn)轉(zhuǎn)，通過(guò)檢查瀏覽器輸入你的域名是否正常訪問(wèn)。服務(wù)器異常會(huì)導(dǎo)致蜘蛛無(wú)法連接網(wǎng)站服務(wù)器，導(dǎo)致出現(xiàn)抓取失敗。
2、域名過(guò)期
域名過(guò)期網(wǎng)站肯定不能訪問(wèn)，域名解析就會(huì)失效了。如果存在這類(lèi)情況，你可以與你域名注冊(cè)商聯(lián)系解決，看是否被搶注，還是可以續(xù)費(fèi)回來(lái)。
3、網(wǎng)絡(luò)運(yùn)營(yíng)商異常
電信和聯(lián)通這兩種都是屬于網(wǎng)絡(luò)運(yùn)營(yíng)商，蜘蛛無(wú)法訪問(wèn)的網(wǎng)站。
如果是因?yàn)殡娦呕蚵?lián)通網(wǎng)絡(luò)運(yùn)營(yíng)商出現(xiàn)問(wèn)題，與網(wǎng)絡(luò)服務(wù)運(yùn)營(yíng)商聯(lián)系或者購(gòu)買(mǎi)cdn服務(wù)。
3、robots.txt文件設(shè)置問(wèn)題
robots.txt的功效主要是一些不重要的文件屏蔽掉告訴搜索引擎這些些頁(yè)面可以不抓取，但也可能會(huì)存在把重要的頁(yè)面也給屏蔽了，可以檢查下robots文件設(shè)置。
關(guān)于robots.txt，可以看我之前寫(xiě)的這篇里面有寫(xiě)到：
白楊seo：新人學(xué)習(xí)seo常遇到的15個(gè)seo術(shù)語(yǔ)，建議收藏
4、死鏈接因素
原本正常的鏈接后來(lái)失效了就是死鏈接，死鏈接發(fā)送請(qǐng)求時(shí)，服務(wù)器返回404錯(cuò)誤頁(yè)面。 死鏈的處理方案可以通過(guò)百度站長(zhǎng)平臺(tái)提交死鏈文件。
5、網(wǎng)站被掛馬
網(wǎng)站被掛馬，要查詢(xún)掛馬文件在哪里并刪除?；謴?fù)網(wǎng)站，更改登錄名和密碼，安全密保要從新設(shè)置，防止下次被掛馬。如果找不到，建議直接更換整個(gè)建站程序，換一個(gè)程序。
百度抓取異常對(duì)網(wǎng)站有什么影響？
如果網(wǎng)站上存在大量?jī)?nèi)容蜘蛛無(wú)法正常抓取，百度搜索引擎會(huì)認(rèn)為網(wǎng)站給用戶(hù)的體驗(yàn)上有缺陷（ 訪問(wèn)網(wǎng)站的用戶(hù)沒(méi)有得到想要的東西，用戶(hù)的體驗(yàn)感就會(huì)下降 ）降低對(duì)網(wǎng)站的評(píng)價(jià)。
而且，網(wǎng)站在 抓取、索引、權(quán)重 上都會(huì)受到一定程度的負(fù)面影響，更嚴(yán)重的會(huì)直接影響到網(wǎng)站從百度獲取的流量。 所以，百度網(wǎng)站抓取異常是非常嚴(yán)重的，一旦發(fā)現(xiàn)，盡量解決。
如何解決呢，繼續(xù)往下看。
網(wǎng)站出現(xiàn)抓取異常的解決方法
1、出現(xiàn)5xx類(lèi)型錯(cuò)誤情況
出現(xiàn)這些情況，并不是網(wǎng)站本身向搜索引擎說(shuō)自己5xx問(wèn)題，有時(shí)打開(kāi)還是正常的，那么站長(zhǎng)后臺(tái)的為什么會(huì)顯示這個(gè)錯(cuò)誤呢？
如果出現(xiàn)此類(lèi)問(wèn)題百分百是因?yàn)槟愕木W(wǎng)站服務(wù)器造成，而對(duì)于某一個(gè)狀態(tài)碼的含義，比如503，直接交給技術(shù)來(lái)進(jìn)行解決。如果技術(shù)還是解決不了，那么建議更換一家服務(wù)器。
2、抓取出現(xiàn)dns錯(cuò)誤情況
很多seo新人發(fā)現(xiàn)網(wǎng)站打不開(kāi)了就會(huì)馬上找網(wǎng)站服務(wù)商，但是吧，域名dns服務(wù)器有可能也會(huì)出現(xiàn)問(wèn)題。當(dāng)網(wǎng)站出現(xiàn)問(wèn)題后，比如打不開(kāi)，第一時(shí)間應(yīng)當(dāng)確定到底是什么問(wèn)題？
如果是域名的dns問(wèn)題，那么白楊seo建議更換dsn。因?yàn)橛行ヾsn出現(xiàn)了這個(gè)問(wèn)題，它后面還有可能出現(xiàn)。
如果要換，就要換大一點(diǎn)的dns服務(wù)商，比如阿里云收購(gòu)的萬(wàn)網(wǎng)就不錯(cuò)，畢竟大公司，穩(wěn)定性還可以的。
3、出現(xiàn)抓取超時(shí)問(wèn)題
現(xiàn)在做seo排名已經(jīng)到了用戶(hù)為王時(shí)代，用戶(hù)如果不能在第一時(shí)間打開(kāi)你網(wǎng)站的頁(yè)面，那么就會(huì)跳到其他網(wǎng)站上去。而搜索引擎蜘蛛呢，一樣的。如果無(wú)法第一時(shí)間抓取，就會(huì)出現(xiàn)抓取超時(shí)問(wèn)題。
上面說(shuō)過(guò)，這個(gè)抓取超時(shí)，大多都是因?yàn)閹挷蛔?，或者是網(wǎng)站頁(yè)面太大而引發(fā)的所以解決方法建議如下：
（1）、在不影響圖片質(zhì)量的情況下，對(duì)大的圖片進(jìn)行壓縮哈；
（2）、減少比如網(wǎng)站的js腳本文件類(lèi)型的使用，或者把一些js進(jìn)行合并；跟技術(shù)說(shuō)清楚。
（3）、整個(gè)網(wǎng)站頁(yè)面長(zhǎng)度進(jìn)行控制，尤其是你的網(wǎng)站首頁(yè)。很多人網(wǎng)站首頁(yè)做了十來(lái)屏，一般用戶(hù)最多下拉三到五屏。越長(zhǎng)，整個(gè)加載就會(huì)越久。
（4）、網(wǎng)頁(yè)的內(nèi)鏈數(shù)量，一般一個(gè)頁(yè)面互相之間的內(nèi)鏈數(shù)量建議不要超過(guò)500條哦，其實(shí)越多，蜘蛛都會(huì)去往下爬取，小網(wǎng)站基本沒(méi)這個(gè)問(wèn)題。
總之，百度抓取網(wǎng)站異常這個(gè)問(wèn)題，建議建站時(shí)找成熟的程序建站，同時(shí)，找像阿里云這樣的大的服務(wù)商。不要總想著省錢(qián)，淘寶隨便幾百建個(gè)站，找個(gè)不知名服務(wù)商，其實(shí)這樣得不嘗失的。