robots协议是一个网站与搜索引擎之间的协议,不过这个协议不是互相盖章签订的,而是约定俗成的一个协议。通过robots协议(其实就是个txt格式文本文件)告诉各个搜索引擎蜘蛛,它们在你应网站上的访问权限。哪些可以访问,哪些不可以访问。
robots文件通常放在网站根目录下,是搜索引擎蜘蛛访问网站时,第一个检查访问的文件。如果站点设置了robots协议文件,一般正常的搜索引擎蜘蛛都会按照协议来确定访问的范围。但是一些小的不主流的流氓搜索引擎就有可能不会遵守了。如果站点没有robots协议文件,那么就意味着所有搜索引擎蜘蛛都能访问你的网站页面内容。 因此,基于robots协议的特殊,在SEO优化中会常常用到这个协议,后续会对robots协议的写法和具体使用命令、注意要点详细介绍。这里主要讲下什么是robots协议。