2021-04-28 21:41:22
我已经提交死链了 但是百度蜘蛛每天还去抓取 这个该怎么办？?? （
Robots也有做屏蔽）
1、这种要是需要被删除的URL，这些URL千万不要屏蔽掉，蜘蛛来访抓取返回码404，说明是死链接，后期都会删除的；
2、你提交死链删除，蜘蛛也是需要去抓取爬行，确定下是否是死链，是死链就删除，如果你Robots屏蔽掉了，蜘蛛不能抓取，那么蜘蛛如何判断是死链，如何删除。
老铁网友回答：迷，蜘蛛不来看看怎么知道是不是死链
老铁网友回答：过几天就不会来了
我已经提交死链了 但是百度蜘蛛每天还去抓取 这个该怎么办？?? （
Robots也有做屏蔽）
1、这种要是需要被删除的URL，这些URL千万不要屏蔽掉，蜘蛛来访抓取返回码404，说明是死链接，后期都会删除的；
2、你提交死链删除，蜘蛛也是需要去抓取爬行，确定下是否是死链，是死链就删除，如果你Robots屏蔽掉了，蜘蛛不能抓取，那么蜘蛛如何判断是死链，如何删除。
老铁网友回答：迷，蜘蛛不来看看怎么知道是不是死链
老铁网友回答：过几天就不会来了
品质保证
所售商品均有品牌授权
隐私保护
5重保护确保私密
100天质保
100天质保
材料安全
材料安全认证
满79元包邮
支持货到付款
火热咨询微信
新手指南
网购流程
会员优惠
常见问题
支付方式
网上支付
银行支付
货到付款
售后服务
100天质保
换货流程
发票制度
信用保障
隐私保护
真伪识别
防骗声明
关注我们
