robots文件禁止抓取template为什么百度还抓取?

Դhttp://www.6cu.com/wailian/

ߣ外链代发

14

2021-03-21 09:19:08

www.jinghuabanchang.com 看了一下日志文件 发现百度一直在抓取这个template这个文件 明明我已经禁止了 百度还是那个百度吗?

不用管,应该是被别人刷的

老铁小编回答:

我网站没有的链接都抓,我也很无语

老铁小编回答:

禁止的用这种工具还是能抓取不知道为什么

老铁小编回答:

这不算啥,我这里蜘蛛访问的都是不存在的目录和文件,啥意思呢

佭ϴý Ѷ Media8ý

在线客服

外链咨询

扫码加我微信

微信:juxia_com

返回顶部