抓取工具常见问题解析

来源:    时间:2022-02-25    浏览:2127

Q1:抓取诊断工具经常提示“Socket读写错误”,具体是什么原因导致的呢?

A1:Socket是应用层与IP协议通信的一组数据接口,当百度蜘蛛访问服务器请求通信时,数据接口读写发生异常, 导致数据不能正常返回,就会提示“Socket读写错误”。这种情况先排查服务器是否使用了防火墙,如果使用了,可以关闭防火墙后再试。如果没有开启防火墙,工具仍一直提示“Socket读写错误”,也不必惊慌,可以找网站服务器的供应商进行解决。


Q2:网站服务器不稳定是否会导致DNS无法解析IP?
A2:很多原因都会导致DNS无法解析IP。首先教大家一个简单的判断方法:先删除根目录下的Robots文件,再进行抓取,如果抓取成功,就说明Robots文件存在问题,需要开发者进行调整;除此以外,服务器不稳定,防火墙蜘蛛屏蔽也会导致DNS无法解析IP;第三点就是网站自身的问题,有时站点出现卡顿会导致蜘蛛抓取不成功,大家可以手动进行网站测速,在稳定性较好,确认可以打开网站的情况下去测试蜘蛛的抓取。

返回列表

客服热线

137-0140-2702

功能和特性

价格和优惠

获取内部资料

添加微信,获取优惠