哟， 亲爱的小伙伴们，今天我要教你们怎么写那个神秘的robots.txt，这个家伙可是Neng帮我们的网站变得geng好哦，别纠结...！

什么是robots.txt？

啊这... 哦， robots.txt就像一个守门人，告诉搜索引擎哪些地方Ke以去kankan，哪些地方是不许进的。就像家里的客人，你想让谁进，就让谁进，不想让谁进，就把门关上。

在我看来... 先说说 我们要知道User-agent后面跟着的是搜索引擎的名字，比如Baiduspider就是百度蜘蛛，Googlebot就是谷歌机器人。然后我们用Allow和Disallow来规定哪些文件Ke以访问，哪些不Ke以。

比如 我们要告诉百度蜘蛛不要进我们的根目录，就Ke以这样写：

User-agent: Baiduspider

Disallow: /

注意事项

1. Disallow:后面要空一格，就像我们说话一样，不Neng紧挨着。

2. Disallow:首字母要大写，这是规矩，就像我们写名字一样。

3. Ru果我们要放行一些文件， 就用Allow，比如：

Allow: /about.html

放在哪里呢？

这个robots.txt要放在网站的根目录里就像家里的门一样，要放在门口。

写法示例

好了 我来给你们举个栗子：

User-agent: Baiduspider
Disallow: /admin/
Allow: /about.html

这个例子就是告诉百度蜘蛛，不要进admin目录，但是about.html这个页面Ke以访问，哭笑不得。。

学会了写robots.txt， 我们的网站就Nenggeng好地保护起来也Neng让搜索引擎geng好地理解我们网站的内容。不过写这个文件也要小心哦，写错了搜索引擎可Neng就找不到我们的网站了，物超所值。。

小贴士

1. 网站动态的路径也要用robots进行屏蔽哦， 太暖了。 这样就不会让搜索引擎抓取到不必要的内容了。

2. 要了解每个文件下的数据是用来Zuo什么用的， 算是吧... 这样写robots.txt才会geng加得心应手。

3. 输入法要切换成英文哦，不然写错了可就麻烦了。

结束语

好了 今天的课程就到这里希望你们douNeng写出好的robots.txt， 容我插一句... 让我们的网站在搜索引擎中geng加出色！