标签归档:百度蜘蛛

真正的SEO技术:百度蜘蛛IP段位的知识

如果大家有经常查看网站访问日志的话,对于百度蜘蛛(baidu spider)应该就不陌生了。

百度蜘蛛,是百度搜索引擎的一个自动程序。它的作用是访问收集整理互联网上的网页、图片、视频等内容,然后分门别类建立索引数据库,使用户能在百度搜索引擎中搜索到您网站的网页、图片、视频等内容。

细心的朋友,应该已经发现了,百度蜘蛛的IP段和IP其实是很多的。

坊间流传这一种说法,说百度蜘蛛会使用不同IP段来抓取网站,不同的IP段所对应的权重也不太一样。

后来,百度有针对此事辟谣过,说百度是会通过不同的IP段来爬取内容,但是这个不涉及权重方面的判断。

不管是真是假,通过我的观察和研究,整理了一些内容常见的IP段和IP,以供参考。

01

以123开头

123.125.66.* :代表百度蜘蛛预备抓取。

123.125.68.*: 每天这个IP段蜘蛛来的最多,其余IP段较少的话示意网站被降权或者进入沙盒。

123.125.71.*: 低权重蜘蛛,抓取内页收录的,但是权重较低,文章内页不会很快被放出来。

123.181.108.77:低权重蜘蛛,抓取内页收录的,但是权重较低,文章内页不会很快被放出来。

121.14.89.* :此蜘蛛为考察蜘蛛,此IP段蜘蛛来光顾基本上是网站无排名!

继续阅读