学习robots文件，如何提升网站SEO效果？

我们每天都在绞尽脑汁地思考如何写出高质量的原创文章，如何去交换那些珍贵的友情链接。但是 你有没有想过有时候我们网站的排名上不去，并不是主要原因是我们做得不够多，而是主要原因是我们“给”得太多了？是的，你没听错。很多时候， 搜索引擎的爬虫——那些不知疲倦的机器人，在你的网站上迷失了方向，抓取了一堆根本不需要展示给用户的垃圾信息，导致真正有价值的页面被冷落。这时候， 你就需要一把利剑，一把能够斩断混乱、指引方向的利剑，那就是——robots文件，基本上...。

今天 我想抛开那些枯燥的技术文档，用一种更接地气、更有人情味的方式，和大家聊聊这个看似不起眼， 我心态崩了。 实则关乎网站生死存亡的小文件。这不仅仅是一篇技术教程，更像是我们站长之间的一次深夜长谈。

Robots协议：网站与搜索引擎之间的“君子协定”

先说说我们得搞清楚这玩意儿到底是什么。Robots协议的全称是“网络爬虫排除标准”。听起来是不是很高大上？其实说白了它就是存放于网站根目录的一个纯文本文件。 我emo了。 你可以把它想象成你网站门口的一张“告示牌”，或者是你家里贴在门上的一张便条。

当百度的蜘蛛、 谷歌的bot想要来你家“做客”时它们进门的第一件事不是去客厅看电视，而是先看门口这张便条。便条上写着：“欢迎来到我的网站， 但是书房里的日记本别看，厨房的垃圾桶别翻，还有，储藏室里那些乱七八糟的旧报纸也别碰。”这就是robots.txt的基本功能——指导搜索引擎的爬虫程序对网站页面的抓取权限，牛逼。。

很多企业网站的robots文件现象， 不是空白就是混乱，这是非常不利于网站优化的，更不利于保护需要保护的数据，会严重影响网站内容收录效果。这就像你家里装修得富丽堂皇， 后来啊大门敞开，谁都能进，连你换下来的脏衣服都被翻得满地都是这能叫好客吗？这叫混乱。

学会做减法：屏蔽那些“没用”的页面

另起炉灶。