• 导航

吸引蜘蛛爬行和抓取的影响因素

内容摘要:网站抓取,在搜索引擎角度来讲也叫网站索引,被很多SEO称为网站收录,搜索引擎在爬取你的网页以后,通过对网页内容进行检测,如果内容符合收录规则,就将网页加入自己的索引库,当用户查询相关内容时,这个网页就会出现在搜索结果,所以百度收录是什么意思

就可以解释为百度爬取了你的网页,并认为你的网页内容符合收录规则或者说有价值,百度会将你的网页加入他的索引库,并且让你的网页将会出现在与你网页内容相关的查询的搜索结果中。

百度蜘蛛

吸引蜘蛛抓取的影响因素

1、网站和页面权重。质量高,资格老的网站被认为权重比较高,这种网站上的页面被爬行的深度也会比较高,所以会更多内页被收录。
 
2、与首页点击距离。一般来说网站上权重最高的是首页,大部分外部链接是指向首页的,蜘蛛访问最频繁的也是首页。离首页点击距离近,页面权重越高,被蜘蛛爬行的机会也越大。
 
3、导入链接。无论是外部链接还是同一个网站的内部链接,要被蜘蛛抓取,就必须有导入链接进入页面,否则蜘蛛根本没有机会知道页面的存在。高质量的导入链接也经常使页面上导出链接被爬行深度增加。
 
4、页面更新度。蜘蛛每次爬行都会把页面数据储存起来。如果第二次爬行发现页面与第一次收录的完全一样,说明页面没有更新,蜘蛛也就没有必要经常抓取。如果页面内容经常更新,蜘蛛就会更加频繁地访问这种页面,页面上出现的新连接,也自然会被蜘蛛更块地跟踪,抓取页面。
 
爬行和抓取 是搜索引擎工作的第一步,完成数据收集任务。
SEO搜索蜘蛛
 

1、蜘蛛:

 
搜索引擎用来爬行和访问页面的程序被称为蜘蛛(spider),也称为机器人(bot)。
 

2、跟踪链接:

 
为了抓取网上尽量多的页面,搜索引擎蜘蛛会跟踪页面上的链接,从一个页面爬到下一个页面,就好像蜘蛛在蜘蛛网上爬行那样,这也是搜索引擎蜘蛛这个名称的由来。
 

3、吸引蜘蛛:

 
理论上蜘蛛能爬行和抓取所有页面,但实际上不能,也不会这么做。SEO人员想要让自己的更多页面被收录,就要想方设法吸引蜘蛛抓取。
 

4、地址库:

 

 
为了避免重复爬行和抓取网址,搜索引擎会建立一个地址库,记录已经被发现还没有抓取的页面,以及已经被抓取的页面。
 

5、文件储蓄:

 
搜索引擎蜘蛛抓取的数据存入原始页面数据库。其他的页面数据与用户浏览器得到的HTML是完全一样的。每个URL都是这样一个独特的文件编号。

您可能还会对下面的文章感兴趣: