建站学习网,专业提供各类建站教程,网页素材,SEO资讯等建站资源!

网站模板_网站源码_网站素材_建站教程_建站学习网

当前位置:建站学习网 > 站长学院 > 建站资讯 >

百度站长平台抓取工具使用帮助

更新时间:2022-12-15整理编辑:建站学习网阅读:0

本文完全转载于百度站长平台,但觉得对博主现阶段有用,所以特地一字不差的转载,为求解决全站被K问题。

1、什么是抓取诊断

抓取诊断工具,可以让站长从百度蜘蛛的视角查看抓取内容,自助诊断百度蜘蛛看到的内容,和预期是否一致。每个站点每周可使用200次,抓取结果只展现百度蜘蛛可见的前200KB内容。

抓取诊断工具能做什么

目前抓取诊断工具有如下作用:

1、诊断抓取内容是否符合预期,譬如很多商品详情页面,价格信息是通过JavaScript输出的,对百度蜘蛛不友好,价格信息较难在搜索中应用。问题修正后,可用诊断工具再次抓取检验。

2、诊断网页是否被加了黒链、隐藏文本。网站如果被黑,可能被加上隐藏的链接,这些链可能只在百度抓取时才出现,需要用此抓取工具诊断。

3、检查网站与百度的连接是否畅通,若是IP信息不一致,可以报错通知百度更新IP。

抓取诊断工具常见错误类型解析

2、url规范

百度支持抓取的url长度不超过1024,如果您的链接长度过长,请在保证正常访问的情况下,适当精简,保证链接能被百度正常抓取和收录。

3、重定向错误

重定向是指百度spider访问链接时发生了跳转,如果跳转后的链接超长或者连续跳转的次数超过5次,就会发生重定向错误而导致抓取失败。

4、服务器连接错误

这种情况是指,由于服务器响应过慢或您的网站屏蔽了百度spider,而导致百度无法访问您的网站。从而会导致百度无法正常收录或者更新您网站的内容。您可能看到以下具体错误:连接超时、连接失败、连接被拒、无响应、响应遭到截断、连接重置、标头遭到截断、超时。

*如何处理服务器连接错误?

减少动态网页请求的过多网页加载。如果网站为多个网址提供相同内容,则会被视为动态提供内容(例如,www.example.com/shoes.php?color=red&size=7与www.example.com/shoes.php?size=7&color=red提供的内容相同)。动态网页的响应时间可能会很长,并会因此导致超时问题。或者,服务器可能会返回超载状态,要求百度spider放慢抓取该网站的速度。一般来说,建议您尽量使用简短的参数并谨慎使用。

确保您网站的托管服务器没有停止运行、超载或配置不当。如果连接问题、超时问题或响应问题仍然存在,请与您的网站托管服务提供商联系,并考虑增强您的网站处理流量的能力。

检查网站是否不小心屏蔽了百度spider的IP。您可能会由于系统级问题而阻止了百度访问,例如DNS配置问题、配置不当的防火墙或DoS防护系统、内容管理系统配置问题。防御系统是保证托管服务正常运行的关键因素之一,并且这些系统通常会配置为自动阻止超量的服务器请求。由于百度spider发出的请求通常要比普通用户多,因此可能会触发这些防御系统,导致它们阻止百度spider访问并抓取您的网站。要解决此类问题,您需要确定网站基础架构中的哪个部分在阻止百度spider,然后取消该阻止。如果您没有控制防火墙的权限,就需要与您的托管服务提供商联系解决此问题。

5、robots封禁问题

在抓取诊断工具中如果返回的抓取失败结论是robots封禁,请确认您是否对该网址设置了robots,阻止百度spider抓取网站的某些内容,如果您未使用robots文件屏蔽百度,请点击旁边的报错链接,百度会立即更新您站点的robots信息;如果是您的误操作导致了封禁,请及时修改robots文件,避免造成您的网站在百度收录量和流量的下降。

6、DNS问题

DNS错误是指由于服务器停止运行或DNS到您网域的路由存在问题,导致百度spider无法与DNS服务器通信。

*如何处理DNS错误?

确保百度能够抓取您的网站。对重要网页(例如您的首页)采用抓取诊断工具,如果它能顺利返回您的首页内容,那么您就可以认为百度能够正常访问您的网站。

对于持续的或反复出现的DNS错误,请与您的DNS提供商联系。通常情况下,您的DNS提供商即为网站托管服务提供商。

配置您的服务器,使其能够以404或500等HTTP错误代码对不存在的主机名作出响应。

7、404错误

一般情况下,当百度spider访问到不存在的网页(因为您删除或重命名了网页且没有将旧网址重定向到新网页,或者链接中存在拼写错误)时,就会出现“未找到”状态错误(通常是404 HTTP状态代码)。

【访问遭拒绝】

一般情况下,百度会通过跟踪网页间的链接来查找内容。百度spider必须能够访问某个网页才能抓取该网页。如果您意外地看到了“访问遭拒”错误,可能是由于以下几种原因导致的:

(1)百度spider无法访问您网站上的网址,因为您网站上的所有或部分内容要求用户登录后才能查看。

(2)您的服务器要求用户使用代理进行身份验证,或者您的托管服务提供商阻止百度spider访问您的网站。

8、参数错误

由于请求的语法格式有误,不符合服务器对请求的某些限制,或者请求本身存在一定的错误,服务器无法理解此请求,导致抓取失败。

9、socket读写错误

当百度spider访问服务器,进行tcp通信的时候,socket读写发生异常,导致数据不能正常返回。请检查服务器连接状况和防火墙设置是否符合预期。

百度站长平台抓取工具使用帮助-第1张图片

10、读取http头或者页面内容时失败

您的服务器收到了我们的完整请求,但是返回信息时不完整,http头或者响应正文发生了截断,导致网页内容不能正常读取。

本文网址:https://www.dedexuexi.com/zz/zixun/3703.html

本站部分文章搜集与网络,如有侵权请联系本站,转载请说明出处。

收藏此文 赞一下!() 打赏本站

如本文对您有帮助,就请建站学习网抽根烟吧!

支付宝打赏
微信打赏
网站如何防御CC攻击?
« 上一篇2022年12月15日
没有了
2022年12月15日下一篇 »
  • 网站如何防御CC攻击?
    0阅读
    网站如何防御CC攻击?目前建站学习网使用的方法是:付费CDN+宝塔自带的CC防御,使用效果尚可。无视cc防护方法若想要用户自己解决,主要就是提高主机处理性能,增加更多带宽,修改或者关闭在log里出现大量相同访问文件的页面。处理效果很一般,有时没什么效果,借助第三方工具.使用软件冰盾等软件防火墙关闭代...
  • 百度站长主动推送curl的安装和使用操作方法
    0阅读
    百度自动推送关闭了,所以这段时间建站学习网一直在寻找新的推送方式。curl推送并没有用过,所以百度寻找了curl推送的操作方法,本文写的非常全面,大家可以试试这种推送。才疏学浅,唯有转载,本文图片由华攀科技整理发布,转载请注明原始出处。使用环境:联网电脑一台一、curl软件的下载及安装方法/> 在百...
  • 百度站长资源平台如何获取cookie值?
    0阅读
    虽然我们的网站已经建设很久了,而且每一篇文章里面教程都写得很详细了,但是还是有一些小白,总是追着我们问如何在百度站长资源平台获取cookie值。所以今天建站学习网特地再详细的写一篇小白能看的、看得懂的一获取百度cookie值的方法的教程。1.打开百度站长资源平台;2.登录我们的百度账号;3.打开网站...
  • 如何判断服务器是否遭受CC攻击?
    0阅读
    如何判断我们自己的服务器是否遭受了cc攻击?CC攻击具体的表现形式就是网站打不开了,服务器变慢了,但是如果没有这些表现形式,那怎么判断呢?命令行法一般遭受CC攻击时,Web服务器会出现80端口对外关闭的DDOS攻击软件现象,因为这个端口已经被大量的DDOS攻击软件垃圾数据堵塞了正常的DDOS攻击软件...
  • 判断服务器好坏的五点知识
    0阅读
    很多新手朋友想学习站群程序,却连服务器都不知道如何挑选购买,今天建站学习网就给大家分享一下我们挑选服务器的五点知识。1、看服务器供货商售后处理及不及时。当服务器有问题的时分,服务器供货商能够提供7*24小时在线的售后技术处理,这样才华保障事务疏通运转。2、考虑服务器地址的机房的稳定性和网络速度,这两...
 
QQ在线咨询
×
欢迎您登陆建站学习网
QQ一键登陆 建站学习网账号登录