最近几天了百度的蜘蛛也来网站,就是每次抓取重复一个页面,来来回回的抓取一个页面,有什么办法解决这个问题?让蜘蛛不要重复抓取一个页面?多谢各位指导了!!!
那个页面添加锚文本到首页
老铁网友解答:百度抓取的,并且是随机抓取的
老铁网友解答:查查一下结构问题和Robots,Nofollow
老铁网友解答:说明那个页面质量不错
老铁网友解答:说明你那个页面吸引蜘蛛?
最近几天了百度的蜘蛛也来网站,就是每次抓取重复一个页面,来来回回的抓取一个页面,有什么办法解决这个问题?让蜘蛛不要重复抓取一个页面?多谢各位指导了!!!
那个页面添加锚文本到首页
老铁网友解答:百度抓取的,并且是随机抓取的
老铁网友解答:查查一下结构问题和Robots,Nofollow
老铁网友解答:说明那个页面质量不错
老铁网友解答:说明你那个页面吸引蜘蛛?