帮助中心 >  技术知识库 >  网站相关 >  建站知识 >  收录页面在百度中的错误应该运用好百度站长平台的抓取异常

收录页面在百度中的错误应该运用好百度站长平台的抓取异常

2016-01-15 15:30:43 6644

页面出现抓取异常是很危险的!出现抓取异常若不及时解决,不仅仅会对您的站点带来流量损失,

严重的情况下蜘蛛还可能降低您的站点的评价,在抓取、索引、排序上都可能会受到一定程度的负面影响

应该运用好百度站长平台的抓取异常



从那些方面来找出收录页面在百度中的错误

1.服务器错误

返回码中返回503(其含义是“Service Unavailable”),这样百度spider会过段时间再来尝试抓取这个链接,如果网站已空闲,则会被成功抓取。

造成服务器错误的原因有多种:网站处于正在进行维护;该网站有程序出现批量错误。最好的解决办法就是找出程序的错误并做出适当的修改,如果是网站正在进行维护,请采用百度站长平台的闭站保护进行规范后然后再进行操作。

2.访问被拒绝

访问被拒绝最主要的问题就是百度蜘蛛发起抓取网页的时候,httpcode返回的都是403状态码,这样同样会造成百度蜘蛛抓取不到规范的网页。造成访问被拒绝的原因也有多种:网站权限受限制;IP地址被拒绝;服务器流量超负荷。这几种错误原因解决办法也很容易,找出网页所在目录给与百度蜘蛛足够的权限去抓取页面,查看百度蜘蛛的IP地址是否被封禁,服务器流量过大的话那就升级服务器。

3.找不到页面

找不到页面最主要的问题就是百度蜘蛛发起抓取网页的时候,httpcode返回的都是404状态码,这种错误是网页最主要的,几乎所有的网站都有这种页面存在。造成找不到页面的原因可以列举一大把:过期的团购网页;误删数据库;论坛垃圾帖子删除。其实这些问题能够轻而易举的就解决了,建立合适的404页面,遇到404状态码就返回404页面。

4.其他错误

其他错误包括的项目就比较多了,但问题大概还是差不多的,就是百度蜘蛛抓起网页的时候httpcode返回的4XX状态码,除了403和404之外的其他状态码。这种问题的来源也是蛮多的:请求的URL太长【参数太多】;要求验证身份;不支持的媒体类型;浏览器不接收所请求的页面。解决这些问题比较复杂,URL过长的话需要解决参数的排序位置,身份验证的就要从部分网站权限控制和其他程序问题来控制了,媒体类型尽量做到每个类型就覆盖到自己的网站


       运用好百度站长平台的抓取异常这个栏目选项,你就能找到百度蜘蛛在抓取网页的时候遇到的瓶颈,解决掉这些对蜘蛛爬取的有阻拦的问题,你就能把所有在百度已经收录的页面统计出来,然后根据不同的问题解决掉就可以了

提交成功!非常感谢您的反馈,我们会继续努力做到更好!

这条文档是否有帮助解决问题?

非常抱歉未能帮助到您。为了给您提供更好的服务,我们很需要您进一步的反馈信息:

在文档使用中是否遇到以下问题: