网站蜘蛛是经常来网站,也爬取的正常,就是每次爬取是重复的页面,别的页面不爬取,我查看日志是正常的,为什么蜘蛛来了不爬取别的页面?挺郁闷的,怎么办我咋搞呢?望各位解答下谢谢。
主动提交URL给百度吧,做一下内链,合理给每个页面安排上其他页面的链接。
老铁小编回答:网站地图设置好了吗?
下一篇:网站site数量没咋变化
网站蜘蛛是经常来网站,也爬取的正常,就是每次爬取是重复的页面,别的页面不爬取,我查看日志是正常的,为什么蜘蛛来了不爬取别的页面?挺郁闷的,怎么办我咋搞呢?望各位解答下谢谢。
主动提交URL给百度吧,做一下内链,合理给每个页面安排上其他页面的链接。
老铁小编回答:网站地图设置好了吗?
下一篇:网站site数量没咋变化