哎哟，各位小朋友，今天我们要来聊聊一个超级神奇的文件——robots.txt！你知道吗，学好了这个，你就Neng变成SEO的大牛哦，你看啊...！

什么是robots.txt？

我心态崩了。 robots.txt，听起来是不是hen厉害的样子？它其实就是告诉搜索引擎哪些页面可yi访问，哪些页面不可yi访问的一个小文件。就像告诉客人，哪些地方可yi逛逛，哪些地方得绕道走。

先说说你先建一个空白文本文档，ran后命名为：robots.txt。记住文件名要quan部小写哦！

User-agent: *

Disallow: /

这里的User-agent是指suo有搜索引擎的蜘蛛， 我们一起... 而Disallow则是告诉蜘蛛哪些目录不Neng访问。

例1：拦截以admin开头的子目录的访问

你看啊... 如guo我们要拦截suo有以admin开头的子目录，可yi这样写：

Disallow: /admin*/

例2：拦截包含“?”号的网址

如guo我们要拦截suo有包含“？”号的网址， 写法如下：，摆烂...

robots.txt的作用

有了robots.txt，蜘蛛抓取URL页面发生错误时则不会 开搞。 被重定向至404处错误页面一边有利于搜索引擎对网站页面的收录。

好处是多多，比如可yi：

• 禁止suo有搜索引擎访问网站的ren何部分。
• 禁止Spider访问特定目录和特定文件。
• robots.txt可yi制止我们不需要的搜索引擎占用服务器的宝贵宽带。

注意事项

1. 请牢牢记住：robots.txt必须放置在站点的根目录下而且文件名必须quan部小写，C位出道。。

2. Disallow后面的冒号必须为英文状态的。

3. 如guo你不Neng保证robots.txt正确写法， 那么就应该保证robots.txt出厂状态，不要轻易的去动它，避免造成不必要的损失，谨记...！

学好了robots.txt，你就Neng成为SEO的大牛了！记得多练习，多实践，相信你一定可yi的！