搜索引擎用来爬行和访问页面的程序被称为蜘蛛（spider），也叫机器人（bot）。搜索引擎命令它到互联网上浏览页，从而得到互联网的所有数据，然后把这些数据存到搜索引擎自己的数据库中。当然了，这个数据库是相当强大的。

① 初级蜘蛛。

初级蜘蛛的抓取很简单，它一般情况只负责去爬行新站，爬行深度也很低，它抓取到网页的内容后，会一级一级的提交到搜索引擎数据库，然后先把数据存放起来，过段时间再来爬行，直到搜索引擎觉得爬行到的内容是有价值的才会被放出来。这就是为什么新站都有一个考核期，因为都是一些初级蜘蛛在光顾，所以特别的慢，一般情况爬行深度也很低，有时候只爬了一个首页就完事了。所以这个时期尽量不要太着急，如果文章质量不符合要求，即使通过高权重外链提高蜘蛛的爬行频率收录了内页，也是有可能在后面消失的。

②中级蜘蛛。

中级蜘蛛通过爬行外链和反链（友情链接）来到你的网站，然后再从你的网站爬行，从而抓取你网站的内容，然后把抓取的到的内容，和搜索引擎数据库中原来的数据一一进行对比，看看是原创内容否是、伪原创内容、还是直接采集的内容，从而确定要不要放出来。

③高级蜘蛛。

高级蜘蛛负责去爬行权重比较高的网站，高级蜘蛛有专门的权限，就是秒收。这就是为什么你去权重比较高的论坛发帖，会被搜索引擎直接秒收了。高级蜘蛛爬行深度也是非常的高，他几乎能够爬行到你网站的所有链接页面，高级蜘蛛的来访频率也很高，几乎每天都会来访，这样就完全加快了百度快照的更新频率。这就是为什么这么多站长一直在不断努力的提高权重的原因。

通过了解搜索引擎蜘蛛的工作原理和标准，我们就可以根据自己网站的实际情况，来判断我们处在哪个阶段，并采取相应的措施。

---

转载请注明本文标题和链接：《蜘蛛程序的抓取收录标准》