阅读本文，轻松掌握robots.txt优化技巧，提升网站排名！

在浩瀚的互联网海洋里每一只搜索引擎蜘蛛都是一位好奇的旅者。它们在你的站点上踽踽独行， 而robots.txt正是那块写着“请走这条路、 这也行？ 别进那扇门”的指示牌。把这块牌子摆得漂亮、摆得合理，你的网页就能顺利被发现，也能避免不必要的尴尬。

一、robots.txt到底是个什么玩意儿？

robots.txt是一段纯文本， 必须放在站点根目录，它向搜索引擎声明：，你想...

• 哪些路径可以让爬虫随意浏览；
• 哪些路径要闭上大门；
• 还有哪里藏有你精心准备的 sitemap。

它不是硬性的防火墙，而是一种「约定」——大多数主流蜘蛛都会遵守。如果你写错了指令，它们可能会毫不客气地闯进去；写对了它们则会乖乖绕道而行。

二、最常用的几条指令，你真的弄懂了吗？

User-agent 与 Disallow/Allow 的配合艺术

User-agent: * 表示下面的规则适用于所有爬虫； 中肯。 如果想针对 Googlebot 单独设置， 只需换成：

User-agent: Googlebot
Disallow: /private/
Allow: /public/

下面这句经常被误用：

Disallow: /*?*

它的本意是阻止所有带查询参数的 URL，但如果你的站点大量依赖 GET 参数，这条规则会把重要页面直接扔进黑洞，别怕...。