阅读本文，如何轻松应对蜘蛛耗尽服务器资源问题？

换言之... 说实话，蜘蛛这玩意儿吧，有时候真挺让人又爱又恨的。

站在你的角度想... 你建个网站不容易啊， 天天盼着搜索引擎来收录，后来啊蜘蛛一来服务器资源直接被吃干抹净，访问量一高，IIS直接报错“service unavoidable”。

你懂的， 这问题一出，网站直接卡成PPT，访问量小得可怜，老板还问你：“你这网站是不是挂了？”，闹乌龙。

原来小丑是我。 害，咱就是说这事儿不能全怪蜘蛛，但也不能全怪蜘蛛不讲武德，对吧？

换个角度看.… 所以今天咱就来聊聊， 怎么让蜘蛛别那么“热情”，又不耽误它干活儿，还能保住咱的服务器资源。

蜘蛛来了服务器哭了

先说说为啥蜘蛛会把资源吃光？

主要原因是蜘蛛太勤快了呗！

请大家务必... 你网站内容多，蜘蛛一来恨不得把所有页面都爬一遍，后来啊服务器直接顶不住了。

你可能会说：“哎呀，这不是好事吗？蜘蛛来得多，收录得多，排名不就上去了？”

对，但问题是——蜘蛛太猛了服务器扛不住啊，说句实话…！

所以咱得给蜘蛛“上上课”，让它别那么“勤奋”。

这时候就得请出咱们的老朋友——robots.txt了。

这玩意儿就是蜘蛛的“行为准则”。

你写得好，蜘蛛就乖；你写得不好，它就到处乱跑，把你的服务器当自助餐。

robots.txt， 蜘蛛的“行为守则”

先来个例子，你感受一下：

user-agent:*

戳到痛处了。 disallow:/search.html

disallow:/index.php?

disallow:/tempweb/

这段代码啥意思呢？

精辟。 user-agent:* 是告诉所有蜘蛛：“你们都可以来但有些地方不能去。