一次难忘的课间分享：从同砚那里学到的蜘蛛抓取调解技巧

前几天，，，，，，同班的小李在课间休息时跟我聊起他最近研究百度搜索引擎优化的心得。。
。。他看我网站收录一直不太理想，，，，，，便自动分享了一个他刚实践乐成的小技巧——调解蜘蛛抓取距离。。
。。说真话，，，，，，之前我一直以为这些设置是手艺大牛才懂的内容，，，，，，没想到经由小李一番通俗易懂的解说，，，，，，我很快就掌握了要领，，，，，，并且应用后收录效率显着提升。。
。。

蜘蛛抓取距离为什么主要

小李先给我打了个例如：搜索引擎的爬虫就像一位天天来我们网站“串门”的访客。。
。。若是来访太频仍，，，，，，可能造成服务器压力，，，，，，甚至被误判为恶意会见
；；若是距离太久，，，，，，新内容又迟迟不可被收录。。
。。因此，，，，，，科学地调解抓取距离，，，，，，既能包管服务器稳固，，，，，，又能让新宣布的文章更快进入百度索引。。
。。

他特殊强调，，，，，，许多站长容易忽视这一点，，，，，，要么完全不设限制，，，，，，导致爬虫岑岭期带宽被占满
；；要么设置过于守旧，，，，，，一连几周都没有新页面被抓取。。
。。这恰恰就是我的网站遇到的典范问题。。
。。

同砚教我的三程序整法

1. 第一步：审查目今抓取状态
   小李让我登录百度搜索资源平台，，，，，，在“抓取诊断”或“抓取异常”栏目里，，，，，，先视察近一周的抓取频率曲线。。
   。。若是泛起锯齿状且伴有大宗404或超时纪录，，，，，，说明目今距离不对理。。
   。。
2. 第二步：设置合理的距离时间
   在他的指导下，，，，，，我实验在站点根目录的robots.txt中添加了Crawl-delay指令。。
   。。关于一般的个人博客或小型企业站，，，，，，他推荐设置为5-10秒
   ；；若是服务器响应较快、内容更新频仍，，，，，，可以适当缩短到3-5秒。。
   。。反之，，，，，，若是服务器带宽有限，，，，，，则应放宽到15秒以上。。
   。。
3. 第三步：视察并微调
   调解之后不可一劳永逸。。
   。。小李建议我每隔三天审查一次抓取统计，，，，，，若是发明抓取频次骤降，，，，，，说明距离可能设得太长
   ；；若是依然泛起超时或拥堵，，，，，，则需要适当加长。。
   。。

表格比照：调解前后的转变

从表格可以看到，，，，，，缩短距离次数后，，，，，，抓取质量反而提高了，，，，，，服务器压力显著减轻，，，，，，收录速率也显着加速。。
。。小李增补说，，，，，，这只是一个参考值，，，，，，详细数字需要凭证自己的站点情形动态调解。。
。。

几点实操感悟

• 不要盲目照搬别人的数值。。
  。。 每个网站的服务器设置、内容更新频率、页面巨细都差别，，，，，，最合适的距离一定是测试出来的。。
  。。
• 连系百度搜索资源平台的数据。。
  。。 平台会给出“建议抓取频率”，，，，，，可以作为初始参考。。
  。。
• 注重robots.txt的缓存问题。。
  。。 修改后可能需要24小时才华被爬虫完全识别，，，，，，时代不要重复改动。。
  。。
• 若是是动态网站或使用CDN，，，，，， 应同时检查源站和CDN节点的日志，，，，，，阻止误判。。
  。。

写在最后

这次同砚之间的履历分享，，，，，，让我实着实在地感受到了搜索引擎优化并非高不可攀。。
。。只要肯下手实验，，，，，，许多手艺细节着实都能通过简朴的实践来掌握。。
。。谢谢小李的无私分享，，，，，，我也把这份履历整理出来，，，，，，希望能资助到更多像我之前那样疑心的站长朋侪。。
。。若是你也想提升网站的收录效率，，，，，，无妨从调解蜘蛛抓取间离隔始试试看。。
。。