因网站被挂马,BD抓取了一大批恶意页面,恶意页面链接地址如下:
www.xxx.com/snews.php/snews.php?9VQmi=282451
www.xxx.com/snews.php/snews.php?F7NEL=355704
www.xxx.com/snews.php/snews.php?vYwAF=490522
……
目前已把相关页面删除,为防止BD抓取,可不可以在robots加上:Disallow:?/snews.php?*
请教各位专家,robots可以这样写吗?*通配符可以这样用吗?
可以的
老铁网友答复:不知道啊,来学习学习
老铁网友答复:提交死链就行,Robots限制不要搞太死了
老铁网友答复:有用的 但是已经收录的需要提交死链
老铁网友答复:百度提交一下,这些死链
个人喜欢将带?和搜索结果页面,全部屏弊蜘蛛
老铁网友答复:可以这样操作,但是最主要还是去百度站长平台提交死链。
老铁网友答复:这个Robots是这个什么东西啊?没听说过

2020-12-10 11:03:04