2020-12-02 16:37:48
新站点，二十多天不收录站点，然后去站长平台弄自动推送后http://www.wanjiadenhuo.com/[?]
然后我怀疑是吧蜘蛛给屏蔽掉了吗http://www.wanjiadenhuo.com/robots.txt[?]感觉也没问题啊
然后我就下载了网站日志http://www.shuiguiyuan.com/logfiles/[?]
发现都没有蜘蛛、
而且还都是304有大佬知道什么原因吗？
急死了
你抓取诊断全部抓取失败，这表明的意思就是蜘蛛抓不到你网站，考虑下是否是哪里屏蔽蜘蛛了，试试把Robots里面那些Disallow全部删掉看看。
你在robots里设置屏蔽根目录文件夹干嘛？这些目录在你网站前端能访问到吗？蜘蛛会从首页开始顺着链接层级爬，你网站前端页面有/templets/这个目录？
robots还是不要乱加的好
6ke小编：你这个网站抓取不成功啊，检查一下服务器
6ke小编：你的网站用的是海外服务器。海外服务器的网站一般很难被抓取搜录。我有一个用海外空间的网站，好几年了一直没有搜录。建议转到国内服务器试试。
新站本来就比较困难，试着搞一波外链
6ke小编：服务器问题吧，都拒绝访问了的
6ke小编：1、Robots文件写的有毛病，具体格式和写法你应该好好学习下
2、建议做一下Sitemap网站地图，更有利于蜘蛛抓取网站
3、产品详情页内容应该丰富一些，而不只是只有一张图片，蜘蛛对图片本来就不感冒的
4、建站历史才只有短短的16天，不收录没蜘蛛也是正常，现在百度对新站越来越不友好，一般考察期是三个月。
5、建议每天定时定量更新原创文章，没有原创能力尽量伪原创，不可直接复制粘贴
6、有可能的话多发外链，外链是蜘蛛爬取你网站的最有效的通道！
6ke小编：过来学习一下，顺带膜拜一下大佬
6ke小编：最近百度再搞算法吧 等等看
6ke小编：检测各个页面的HTTP状态码，如不是200，那就肯定有问题，如果3xx，你看看你的重定向有没有问题
6ke小编：我最近也是这样，应该是百度的原因，再观察观察
6ke小编：检查下去吧，记得要持续更新
6ke小编：1、站点好像并未屏蔽抓取；
2、百度站长抓取验证不通过，查看下原因，点击不通过看看详情是什么；
3、是否是服务器空间ip更换，导致无法抓取到；
4、查看百度站长里面抓取异常有无数据异常；
5、网站上线20天不收录，有无去自己提交推送URL给百度站长，同时反馈请求抓首页；
6、使用蜘蛛模拟抓取当前无异常。
