2018-05-19 17:18:17
关于网站收录这方面的技术文章，近乎饱和地充斥于网络中，但是几乎所有的文章都是从网站自身的角度思考收录问题。网站收录是SEO实战过程中，最重要的环节之一。老铁SEO认为，搜索引擎蜘蛛的抓取方式可以启发我们对网站收录规律的理解。一般情况下，大部分认为网页不收录是网页质量差原创度不够，或者外链少等原因不能说是错的，这些只是站长们单方面认为的表面现象，一种根据自己的SEO实战知识推测的结果而已。传统的SEO实战知识是从结果往上猜测原因，老铁SEO经过将近十年的SEO实战，在思考搜索引擎蜘蛛抓取网页的方式中，总结了几个促进网站收录的技巧，在此分享希望对大家有帮助。
首先、内容丰富的网站更受搜索引擎蜘蛛青睐
庞大的互联网上每天都会出现成几千上万的新页面，大站产生的频率新页面比小站多，搜索引擎蜘蛛（蜘蛛池）抓取网页更倾向于网页多的大站，因为大型网站往往包含更多的页面，且质量比较高，搜索引擎蜘蛛则偏向于优先抓取和收录大站的页面，就是这样一个思路。提醒站长们做SEO要让网站中出现更多的内容，网页丰富则会引导搜索引擎蜘蛛频繁抓取和收录，这是做SEO的一个长期规划思路。
第二、入链多质量高的网页优先抓取和收录
搜索引擎蜘蛛是通过网页之间的链接关系，发现并抓取互联网上的网页，众所周知，链接具有投票功能，投票越多的网页搜索引擎蜘蛛则会更加重视，优先抓取。谷歌提出的pagerank算法，可以依据链接关系对网页进行评分，决定网页URL下载顺序。所以，我们在SEO实战中，如果出现网页收录，则可以适当增加高质量外链，这里要特别注意“高质量”三个字。换句话就是入口决定出口，如果搜索引擎蜘蛛在360或者老铁外链上面发现网站锚文本链接，比一个B2B友链网页锚文本链接更具有收录意义。
第三、网页历史更新规律影响搜索引擎蜘蛛抓取频次
搜索引擎蜘蛛的资源不是无穷的，他们也在尽最大努力节约资源，同一个网站蜘蛛会根据网站的规模和更新频次决定抓取次数，尽量用最少的资源完成网站更新策略。搜索引擎蜘蛛会假设，过去频繁更新的网页，将来也会更新频繁。例如我们的网站在每天的晚上10点更新内容，经过一段时间的有规律更新，蜘蛛则会默认这个点来抓取内容，这样会提高搜索引擎蜘蛛的喜爱程度，网页更容易被抓取和收录。
第四、用户体验策略对网站更新收录的影响
最近，老铁SEO在优化网站时发现，更新了首页内容后网站排名会偶尔下降，快照莫名其妙地回档时，排名又恢复了。在仔细分析了百度站长平台的关键词与流量后，我发现，在没有更改网站首页内容时，某一个关键词有一定的点击量，更新内容后，点击量变少了，当快照后退时，排名又起来了。因此，我们推测，百度抓取和收录内容会适当的考虑用户体验，网站的点击量从侧面反映了用户体验。
也就是说，搜索引擎蜘蛛会抓取和存储很多个网页快照，如果旧的网页快照更受用户喜欢，那么新的网页快照就不一定会被收录，因为搜索引擎蜘蛛始终要照顾用户体验。
以上就是老铁SEO对搜索引擎蜘蛛抓取规律的理解，以及网站收录技巧的经验分享，欢迎SEO同行交流。
