2021-04-10 21:51:06
如只允许百度蜘蛛，禁止其他一切蜘蛛，这两种写法哪种是正确的呢？
1、先允许后禁止
2、先禁止后允许
这两个哪种写法是正确的呢？还是都一样呢？
1、如果是单纯的禁止其他蜘蛛，其他蜘蛛都是有具体的名字的；
2、User-agent: Googlebot
Disallow: /
User-agent: Googlebot-Mobile
Disallow: /
User-agent: Googlebot-Image
Disallow:/
User-agent: Sogou spider
Disallow: /
@推推蛙 蛙总
下一篇：没有了
