某些域名,所有页面都需要限制蜘蛛抓取,用rotots限制

Դhttps://www.52by.com

ߣ邦阅网

14

2021-02-25 15:23:33

通过百度文档的rotots写法是:

User-agent: *

Disallow:/

而这些域名的rotots的写法是下面

User-agent: *

Disallow:*

想请问下下面的写法是错误的?
?Disallow:/和Disallow:* 和*的区别在哪?

1、屏蔽整站,选第一个;

2、*代表任意值,但是很少有见Disallow:*;

3、如果屏蔽整站Disallow : / 即可。

老铁小编回答:

来学习学习

老铁小编回答:

学习学习,多多益善

老铁小编回答:

学习学习

老铁小编回答:

学习学习,多多益善

佭ϴý Ѷ Media8ý

在线客服

外链咨询

扫码加我微信

微信:juxia_com

返回顶部