2018-01-18 20:25:57
什么样的网站才符合搜索引擎抓取习惯？才有利于网站优化呢？
1、简单明了的网站结构
搜索引擎蜘蛛抓取网站就等于对网站的网页有意图地进行爬取，有一个简单明了的层级会更方便蜘蛛爬取，更容易读取。
树形结构网站是最优的结构，一般就是“首页-频道-详情页”。
扁平首页到详情页的层级次数要尽量少，这样才有利于抓取和传递权重。
网状结构的网站要保证网站的每个页面都至少有一个文本链接指向，尽量让网站被全面地抓取收录。
符合搜索引擎抓取习惯的网站才有利于网站优化
2、简洁美观的URL规则
每个网站的同一内容都只喝唯一的URL相对应，过多的形式的URL会分散页面的权重。
URL动态参数尽量减少，保持URL简洁，尽量简短。
符合搜索引擎抓取习惯的网站才有利于网站优化
所以网页的URL美观性能使用户或机器通过URL判断出该页面的内容主旨，所以不仅要简短，让用户快速理解。还有保证同一内容系统中只产生唯一的URL和它对应，把其他多余的，没有意义的参数都去掉，假如在无法保证URL的唯一性，就要使用不同形式的URL301跳转到目标URL上。
3、需要注意事项
robots文件别忘了，一般系统的robots文件都是默认禁止搜索引擎抓取网页的。所以当网站建设好之后，就要及时检查或重新书写合适的robots文件，确定是否开放收录。在平时的优化维护工作中也常常检查，robots文件是否被篡改，被写成禁止收录了。
建立sitemap文件和死链文件，并通过百度站长平台去提交上去，方便蜘蛛爬取。
符合搜索引擎抓取习惯的网站才有利于网站优化
很多的电商类型的网站都会存在着地域跳转的问题，像不同地区有货或无货的情况，可以做成一个统一页面，并在页面上标识有无货即可，无需在地区无货的情况下返回无效页面。因为蜘蛛出口的有限性可能会导致网页无法正常收录。
