2021-04-23 14:43:52
做网站的前端说没有屏蔽，防火墙也没把蜘蛛给拦截了，有没有大神知道还有其他原因造成这样吗？
建议百度 栈谷统计 去看看蜘蛛爬虫实时访问情况，很好用的
老铁小编解答：你点击那个抓取失败，看一下原因是啥，如果你确定服务器那些都没屏蔽过，而且Robots也没有屏蔽，那就重新验证下网站试试。
老铁小编解答：换服务器了吗
老铁小编解答：1、这里有抓取详情可以去看一下，为何失败；?
2、百度站长这个是一开始就抓取异常，还是之前是正常，如果一开始就异常，也并未Robots屏蔽就考虑重新验证下；?
3、网站蜘蛛模拟抓取无异常，返回码也正常；?
4、站点域名双解析可考虑301集权，主域名切记不要404。
没碰到过，想不出来
老铁小编解答：反馈下试试，看看抓取的ip是不是正确的，我之前也碰到过
老铁小编解答：是不是屏蔽了百度蜘蛛
上一篇：站群是用二级域名还是一级域名?
