2021-09-05 08:31:29
1、robots.txt的设置：这个文件放在网站的根目录下，搜索引擎来网站爬取的第一个文件，可以告诉搜索引擎蜘蛛，该抓取那个不抓取那个，如果不会，可以不用设置。设置好了再百度平台更新下，测试抓取看有没有问题。
3、网站地图的设置：这个很有必要，可以让搜索引擎蜘蛛快速的抓取网站所有连接，可以在robots文件写上，让蜘蛛主动过来抓取网站连接，设置好了百度平台提交。网站地图的形式有xml、txt格式的。
注意：网站地图最多放5万条链接，多了的话可以设置多个地图。
优先级别：allow (可以抓取) 级别高于Disallow (不可以抓取)
4、熊掌号的绑定：在百度注册个账号，登录百度平台绑定网站，网站绑定熊掌号，这样百度会增加对网站的信任度。
5、404页面的制作：放在网站根目录下，网站死链接自动跳转到404页面，用户手动点击跳转选择，不要自动跳转，听说这样有可能会被百度惩罚。
上一篇：网站外部链接的设置
下一篇：网站内容不收录怎么办
