网站打开慢怎么办？（robots文件降低网络爬虫速度减小压力）
有些站长经常抱怨自己的网站打开速度很慢，用了各种方法都不起效果。也找不到影响网站打开慢的真正原因。对于我们学做网站论坛检测的一部分网站中，有一部分网站打开慢是由于网站被大量网络爬虫频繁的访问造成的。
我们网络爬虫也就是我们SEO课程中讲的搜索引擎蜘蛛，我们网站想要在搜索引擎上有排名，第一步就是让搜索蜘蛛抓取我们的网站。但是网络上有大量的垃圾蜘蛛，会肆无忌惮的不停访问我们的网站，这样会给自己的网站服务器增加很大的负担，甚至服务器CPU使用率/负载状态达100%。这时我们需要降低网络爬虫速度减小压力。
降低网络爬虫速度的方法很简单，在robots.txt文件里就可以通过代码来降低速度。
|
1 2 3 4 |
<div class="codecolorer-container php geshi" style="overflow:auto;white-space:nowrap;width:100%;"><div class="php codecolorer" style="white-space:nowrap">User<span style="color: #339933;">-</span>agent<span style="color: #339933;">:</span> <span style="color: #339933;">*</span><br> Crawl<span style="color: #339933;">-</span>delay<span style="color: #339933;">:</span> <span style="color: #cc66cc;">10</span><br> Request<span style="color: #339933;">-</span>rate<span style="color: #339933;">:</span> <span style="color: #cc66cc;">60</span><span style="color: #339933;">/</span>1m<br> Visit<span style="color: #339933;">-</span><span style="color: #990000;">time</span><span style="color: #339933;">:</span> <span style="color: #208080;">0000</span><span style="color: #339933;">-</span><span style="color:#800080;">0800</span></div></div> |
由于这个还没有完全的标准，两种都用了，Crawl-delay是每秒访问的网页数，而Request-rate是页面数/时间段，可以设置为比较小的值，Visit-time为允许访问的时间段。
当然，我们也可以把一些常见的垃圾蜘蛛屏蔽掉，不让他们来抓取我们的网站。方法见：https://www.xuewangzhan.net/wenti/65988.html
由于网站搬家，部分链接失效，如无法下载，请联系站长！谢谢支持！
1. 带 [亲测] 说明源码已经被站长亲测过!
2. 下载后的源码请在24小时内删除,仅供学习用途！
3. 分享目的仅供大家学习和交流，请不要用于商业用途！
4. 本站资源售价只是赞助，收取费用仅维持本站的日常运营所需！
5. 本站所有资源来源于站长上传和网络，如有侵权请邮件联系站长！
6. 没带 [亲测] 代表站长时间紧促,站长会保持每天更新 [亲测] 源码 !
7. 盗版ripro用户购买ripro美化无担保,若设置不成功/不生效我们不支持退款!
8. 本站提供的源码、模板、插件等等其他资源，都不包含技术服务请大家谅解！
9. 如果你也有好源码或者教程，可以到审核区发布，分享有金币奖励和额外收入!
10.如果您购买了某个产品，而我们还没来得及更新，请联系站长或留言催更，谢谢理解 !
GG资源网 » 网站打开慢怎么办？（robots文件降低网络爬虫速度减小压力）
1. 带 [亲测] 说明源码已经被站长亲测过!
2. 下载后的源码请在24小时内删除,仅供学习用途！
3. 分享目的仅供大家学习和交流，请不要用于商业用途！
4. 本站资源售价只是赞助，收取费用仅维持本站的日常运营所需！
5. 本站所有资源来源于站长上传和网络，如有侵权请邮件联系站长！
6. 没带 [亲测] 代表站长时间紧促,站长会保持每天更新 [亲测] 源码 !
7. 盗版ripro用户购买ripro美化无担保,若设置不成功/不生效我们不支持退款!
8. 本站提供的源码、模板、插件等等其他资源，都不包含技术服务请大家谅解！
9. 如果你也有好源码或者教程，可以到审核区发布，分享有金币奖励和额外收入!
10.如果您购买了某个产品，而我们还没来得及更新，请联系站长或留言催更，谢谢理解 !
GG资源网 » 网站打开慢怎么办？（robots文件降低网络爬虫速度减小压力）
