2021-03-12 14:29:09
这个没必要，有爬取是好事，如果实在不需要，屏蔽就好了
老铁小编回答：不用屏蔽蜘蛛
老铁小编回答：这个没有什么影响的，一些JS的文件倒是可以屏蔽掉
老铁小编回答：只要你觉得没有用的页面，就可以屏蔽
老铁小编回答：屏蔽不需要蜘蛛爬行的文件
老铁小编回答：站内的一些你觉得不必要的可以搞
老铁小编回答：屏蔽不需要蜘蛛爬行的文件
老铁小编回答：同问。占个位学一下大神的方法。
老铁小编回答：这个说不好，站内的你觉得没必要的都可以做，也可以都不做，我个人感觉影响不是多大
老铁小编回答：这个看个人的，如果是站内就没必要的，如果是站外就可以屏蔽
老铁小编回答：我也想知道哦
