什么是robots.txt文件？

哇，你知道吗？网站有个叫robots.txt的小文件， 就像一个告诉别人“我这里有什么你不嫩进哪些地方”的小纸条哦，被割韭菜了。。

第一步：写个小纸条

先说说 我们要在网站的根目录下也就是网站的爸爸家里放个叫robots.txt的小纸条。这个小纸条上写上：User-agent: * Disallow: /，在我看来...。

第二步：告诉谷歌和百度

染后 我们还要在网站的脑袋里面加上一些特殊的话，就像这样：

第三步：发个帖子给百度管理员

如guo我们的文章里面有彳艮重要的秘密，比如我们的家庭作业，我们还可依去百度的帖子区发个帖子，告诉管理员：“请你们不要收录我的这篇文章，主要原因是我有秘密哦！”，不如...

第四步：加个标签让谷歌不存我的文章

我们还可依在文章的头上加上一个特殊的标签， 叫Zuo，这样谷歌就不保存我们的文章快照啦。

一下

哦， 对了我们还可依在网站的脑袋里面加上一些特殊的话，告诉搜索引擎我们不希望它们抓取我们的文章。 我坚信... 比如： User-agent: googlebot Disallow: /

这样， 我们的文章就不会被搜索引擎收录啦，就像我们的小秘密一样平安哦，归根结底。！