Robots工具常见问题解析

来源:海米云    时间:2022-02-25    浏览:890

Q1:Robots文件已经更新一个多月了,但为何所禁止的文件仍在被抓取呢?

A1:(1)开发者需要在百度搜索资源平台使用Robots工具进行更新, 并及时关注文件生效时间, 若3三天后还未生效, 建议提供具体问题截图和具体的URL在反馈中心反馈, 以便排查问题。

(2)自查Robots文件是否书写错误,Robots文件往往放置于根目录下,包含一条或更多的记录,这些记录通过空行进行分隔,若Robots文件书写错误了,则会导致所禁止的文件仍能被抓取。


Q2:网站误封了Robots怎么办?
A2:(1)开发者应修改Robots封禁为允许,然后到百度搜索资源平台检测并更新Robots;
(2)在百度搜索资源平台使用抓取检测工具进行检查,若显示抓取失败,可以多点击抓取几次,触发蜘蛛抓取站点;
(3)在百度搜索资源平台通过抓取频次工具,申请上调抓取频次;
(4)在百度搜索资源平台反馈中心进行反馈;

(5)通过百度搜索资源平台主动提交资源,加快百度的抓取速度。

返回列表

客服热线

137-0140-2702

功能和特性

价格和优惠

获取内部资料

添加微信,获取优惠