2021-02-05 15:11:35
最近用wordpress做了个网站 ，发现搜索引擎乱抓站内URL 莫名其妙不知道什么原因，多次处理无果，于是乎想用robots.txt文件来限制掉，搜索引擎抓取所有东西，只让搜索引擎抓取 首页 目录及文章页面
robots文件可设置成这样子吗？
说实话，我还不太理解Robots文件里的东西是啥意思~
老铁网友解答：Robots 文件用法如百度资源站的说明?
老铁网友解答：你这后面带不带*都没啥区别吧？
都是整站屏蔽
最近用wordpress做了个网站 ，发现搜索引擎乱抓站内URL 莫名其妙不知道什么原因，多次处理无果，于是乎想用robots.txt文件来限制掉，搜索引擎抓取所有东西，只让搜索引擎抓取 首页 目录及文章页面
robots文件可设置成这样子吗？
说实话，我还不太理解Robots文件里的东西是啥意思~
老铁网友解答：Robots 文件用法如百度资源站的说明?
老铁网友解答：你这后面带不带*都没啥区别吧？
都是整站屏蔽
品质保证
所售商品均有品牌授权
隐私保护
5重保护确保私密
100天质保
100天质保
材料安全
材料安全认证
满79元包邮
支持货到付款
火热咨询微信
新手指南
网购流程
会员优惠
常见问题
支付方式
网上支付
银行支付
货到付款
售后服务
100天质保
换货流程
发票制度
信用保障
隐私保护
真伪识别
防骗声明
关注我们
