如何解决蜘蛛爬取重复页面?

Դhttp://www.6cu.com

ߣ外链发布

12

2021-03-03 12:28:48

网站蜘蛛是经常来网站,也爬取的正常,就是每次爬取是重复的页面,别的页面不爬取,我查看日志是正常的,为什么蜘蛛来了不爬取别的页面?挺郁闷的,怎么办我咋搞呢?望各位解答下谢谢。

主动提交URL给百度吧,做一下内链,合理给每个页面安排上其他页面的链接。

老铁小编回答:

网站地图设置好了吗?

佭ϴý Ѷ Media8ý

在线客服

外链咨询

扫码加我微信

微信:xmbfjc

返回顶部