专业科普建站知识
让建站变得更简单

解除WordPress Robots封禁问题以及robots.txt位置定位 解除WordPress Robots封禁问题

问题产生

百度站点管理-抓取诊断失败

百度站点管理地址:https://ziyuan.baidu.com/site/index

在百度站点管理的时候,点击抓取诊断遇到抓取失败的情况,要知道,抓取失败,意味着你的网站百度没办法收录,这是很严重的事情,必须马上找到问题,然后解决它。

blob.jpg

点开抓取失败的红色标志,查看具体异常详情。发现是Robots封禁

blob.jpg

什么是Robots封禁?

robots是网站跟爬虫间的协议,用简单直接的txt格式文本方式告诉对应的爬虫被允许的权限,也就是说robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。当一个搜索蜘蛛访问一个站点时,它会首先检查该站点根目录下是否存在robots.txt,如果存在,搜索机器人就会按照该文件中的内容来确定访问的范围;如果该文件不存在,所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面。详情以及语法请看 百度百科-robots

问题排查

查看百度平台工具使用帮助文档

https://ziyuan.baidu.com/college/courseinfo?id=267&page=9#004

【robots封禁问题】
在抓取诊断工具中如果返回的抓取失败结论是robots封禁,请确认您是否对该网址设置了robots,阻止百度spider抓取网站的某些内容,如果您未使用robots文件屏蔽百度,请点击旁边的报错链接,百度会立即更新您站点的robots信息;如果是您的误操作导致了封禁,请及时修改robots文件,避免造成您的网站在百度收录量和流量的下降。

经过帮助文档的说明,我定位到了是网站程序封禁了,导致百度无法抓取。

定位程序问题

马上FinalShell远程连接Linux服务器

find / -name robots.txt

这行命令是查找robots.txt文件的位置

blob.jpg

找到文件路径之后,直接vim 来修改robots.txt文件的内容。
通过访问域名根路径来看robots.txt文件的内容。
http://cloud.yundashi168.com/robots.txt

把robots.txt文件设置成允许百度抓取之后,发现没有得到我们想要的结果,这是怎么回事?

我重启服务器和更新域名映射都没有效果,百度那边还是抓取失败,依旧是包robots抓取异常。
我更改的文件竟然没有效果,很纳闷。

冷静之后,发现了问题所在。
由于我用的wordpress程序,所有我在wordpress后台管理界面找到了解决方法

blob.jpg
把建议搜索引擎不索引本站点这个选项,设置成 不要勾选。

然后再次访问:http://cloud.yundashi168.com/robots.txt 发现问题得到了解决

百度站点管理界面再次 检测并更新。问题得到解决了。

blob.jpg

问题解决

问题得到完美解决,现在也感慨网站建站事情细节问题真不少,需要慢慢学习和实践。现在百度蜘蛛能进入你的网站了。下一步,我们要做到网站能自动推送提交链接给百度,因为手动太麻烦了。
http://cloud.yundashi168.com/robots.txt

原文出处:http://cloud.yundashi168.com/archives/165

赞(0) 打赏
未经允许不得转载:聚优云惠 » 解除WordPress Robots封禁问题以及robots.txt位置定位

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏