当蜘蛛来到一个网站，它会先看看这里有个叫做robots.txt的东西。

什么是robots.txt？

robots.txt是个小文件， 就像是告诉蜘蛛们：“嘿，这个区域是保密的，你们别进去。” 或者 “这里随便逛逛，欢迎光临！”

比如 如果我们不想让蜘蛛去抓取/cgi-bin/ 胡诌。 目录下的所有以".htm"的网页，我们可以这样写：

何必呢？ 禁止抓取/cgi-bin/目录下的所有以".htm"为后缀的URL

*指的是匹配任何字符

Allow:/* .htm$

允许访问以".htm"为后缀的URL

这样蜘蛛就不会去那些地方乱逛啦。

如何写robots.txt？

User-agent: *

这个*是给所有蜘蛛的通行证，就像告诉所有的朋友们：“都来吧！”

Disallow: /cgi-bin/*.htm，动手。

反思一下。 这个就是告诉蜘蛛：“别去/cgi-bin/目录下的任何以.htm的文件。”

不夸张地说... $指的是匹配行结束符，就是文件的再说说一部分。

用法：sitemap:http://www. 不堪入目。 google.com/sitemap.xml

这个是告诉蜘蛛：“这里有我网站的地图，你快去看看！”

什么鬼？ 主要原因是它可以防止私密或重要内容被搜索引擎抓取，减少重复抓取，提高网站质量。

我爱我家。 比如 我们可以禁止蜘蛛去抓取admin目录，这样可以保护我们的管理员页面不被随便看到。

Disallow: /admin/

还可以禁止抓取网站中所有包含问号的网址：

Disallow: /*?*

一边， 我们也可以允许蜘蛛访问一些特定的地方，比如允许访问cgi-bin目录：，太虐了。

Allow: /cgi-bin/

一下：

robots.txt就像是网站的小助手，告诉蜘蛛们哪些地方可以去，哪些地方要保密。 哎，对！ 通过合理的设置，可以让我们的网站在搜索引擎中排名更靠前。

分享机器人文件大揭秘：如何轻松玩转robots.txt