• 导航

为什么抓取异常?网站抓取异常的原因有哪些

内容摘要:正常的条件下,百度蜘蛛所抓取的页面与呈现给访客的页面内容是一样的,但是除此之外的一切就是非正常情况,从而导致蜘蛛无法正常抓取页面。这个样子的就被称为抓取异常,抓取异常存在的原因是什么? 用百度搜索资源平台诊断网站的抓取异常情况,如果发现偶尔抓取失败,则属于正常情况,不会对网站的正常抓取和收录造成影响。但如果抓取失败出现持续性的,则要引起注意了,根据网站出现抓取异常的具体原因做具体的分析。

为什么抓取异常?

指的是蜘蛛无法正常抓取页面,网站出现抓取异常。

用百度搜索资源平台诊断网站的抓取异常情况,如果发现偶尔抓取失败,则属于正常情况,不会对网站的正常抓取和收录造成影响。但如果抓取失败出现持续性的,则要引起注意了,根据网站出现抓取异常的具体原因做具体的分析

为什么抓取异常?网站抓取异常的原因有哪些

网站抓取异常的原因:

1、服务器异常

服务器连接异常最大的可能是网站服务器过大,超负荷运转,通过检查浏览器是否正常访问。服务器异常会导致蜘蛛无法连接网站服务器,导致出现抓取失败。

2、域名到期

域名过期网站肯定不能访问,域名解析会失效,如果存在这类情况请与域名注册商联系。

3、网络运营商异常

电信和联通这两种都是属于网络运营商,蜘蛛无法访问的网站。

如果是因为网络运营商出现问题,与网络服务运营商联系,或者空间或者购买CDN服务。

3、robots.txt文件设置

robots.txt的功效主要是一些不重要的文件屏蔽掉告诉搜索引擎这些些页面可以不抓取,可能会存在把重要的页面也给屏蔽了,可以检查下robots文件设置。

4、死链接

原本正常的链接后来失效了就是死链接,死链接发送请求时,服务器返回404错误页面。

死链的处理方案可以通过百度站长平台提交死链文件。具体的操作方法文章(为什么要使用死链工具?死链工具的使用方法)

5、网站被挂马

网站被挂马,要查询挂马文件在哪里并删除,恢复网站,更改登录名和密码,安全密保要从新设置,防止下次被挂马。

网络异常

①、DNS异常:当网址出现了IP地址错误,或者域名服务商将搜索引擎封禁的其中一种情况时,就会导致搜索殷勤无法解析这个网站的IP底子,会出现dns异常。
②、链接超时:当服务器过载,或者是网络不稳定等情况,就会导致搜索引擎无法抓到页面。
③、抓取超时:一个网站页面的加载速度一直时一个严重的问题,对用户和搜索引擎的体验是有着一个很大的影响,但是如果服务器过载,夸带不足,搜索引擎虽成功建立了抓取请求,但是因为页面的速度过慢,无法在第一时间内抓取页面,从而导致抓取超时。
④、连接错误:当服务器运行不正常,导致搜索引擎无法连接上网站服务器,或者在连接之后,对方服务器拒绝你的请求,这些都会导致搜索引擎连接错误。

链接异常

①、服务器错误:因为服务器错误,导致网站出现了5XX类型的错误,在搜索引擎抓取时,正确的返回状态码是5XX。

②、找不到页面:

页面无法访问,是比较典型的404错误。在搜索引擎抓取时,正确的返回状态码是404。​

③、访问被拒绝

搜索引擎抓取页面时,所发出的请求被拒绝,导致网站出现403错误。在搜索引擎抓取时,正确的返回状态码是403。

④、其他错误

还可能发生其他的错误,导致网站出现4XX类型错误。在搜索引擎抓取时,正确的返回状态码是4XX,不包括403和404。

如果网站出现抓取异常的话,会让搜索引擎认为这个网站,在用户整体的一个体验上是有着一些缺陷的,并且降低了对网站的评价,在抓取。索引、权重上都会受到一定程度的负面影响,从而影响到整个网站的流量。


您可能还会对下面的文章感兴趣: