哈喽，小盆友们！今天我们要聊一聊一个非常神奇的小文件——robots.txt嗯。这个文件虽然小小的， 摸鱼。 但是作用可大了去了它Neng帮助我们提升网站的SEO效果哦！

什么是robots.txt？

robots.txt就像是我们家的门卫，告诉来客哪些地方Ke以去，哪些地方不Neng去。对于网站它就是告诉搜索引擎的爬虫哪些页面Ke以访问，哪些页面不Neng访问。这样，我们就Neng保护我们的隐私，一边让搜索引擎geng好地工作。

书写robots.txt注意事项：

1. 文件后缀必须是.txt哦， 就像我们的名字后面要有“小明”、“小红”一样。
2. 文件要放在网站的根目录里就像我们的家要在小区的门口一样。
3. 所有字母dou要小写，就像我们写作业一样，不要写成大写哦。
4. 写的时候要注意几个关键词：User-agent、 Disallow、Allow、Sitemap，就像我们玩游戏时要注意规则一样。

如何编写robots.txt？

下面我就来教大家怎么写这个神奇的robots.txt文件，公正地讲...。

步骤一：了解User-agent

User-agent就像是我们家的门卫问来的客人是谁。在这里 我们写上搜索引擎的名字，比如Googlebot、Bingbot等，这样我们就Neng指定是哪个爬虫Ke以访问我们的网站，研究研究。。

步骤二：使用Disallow和Allow

Disallow就像是我们告诉门卫哪些地方不Neng去。比如我们不想让爬虫访问我们的后台，就Ke以写上“Disallow:/admin/”。 我跪了。 而Allow则是允许爬虫访问某些地方， 比如我们的产品页面Ke以写上“Allow:/product/”。

步骤三：添加Sitemap

Sitemap就像是我们家的地图，告诉爬虫我们家的各个角落。在这里 我们写上网站的Sitemap地址，比如“Sitemap:http://www.mysite.com/sitemap.xml”， 这也行？ 这样爬虫就Neng找到我们所有的页面了。

例子：

下面是一个简单的robots.txt文件例子：

User-agent: *
Disallow: /admin/
Allow: /product/
Sitemap: http://www.mysite.com/sitemap.xml

这个例子告诉我们， 所有爬虫douKe以访问我们的产品页面但是不Neng访问后台。

我给跪了。 编写robots.txt文件虽然kan起来有点复杂， 但是只要我们按照步骤来就Neng轻松写出属于自己的robots.txt文件。这个小文件虽然小， 但是作用可大了去了它Ke以帮助我们提升网站的SEO效果，让我们的网站在搜索引擎中geng好地展现出来哦！

他破防了。 好了今天的分享就到这里啦！小盆友们，赶紧去试试吧！