阅读本文，如何利用robots文件提升网站SEO效果？

每一个做网站运营的朋友，心里大概都装着同一个焦虑：怎么才能让搜索引擎更喜欢我的站点？我们整天忙着更新内容、 发外链、换友链，恨不得把心掏出来给百度看，但往往忽略了一个最基础、也最不起眼的小东西——robots.txt文件。说真的，有时候你排名上不去，不是内容不够好，而是你把“大门”敞得太开，或者干脆把门给焊死了。今天 咱们就撇开那些枯燥的教科书式定义，像老朋友聊天一样，好好扒一扒这个文件背后的秘密，看看怎么利用它来真正提升网站SEO效果。

别让蜘蛛迷路：Robots.txt到底是个啥？

先说说我们得搞清楚这个文件到底是干嘛的。其实Robots协议的全称是“网络爬虫排除标准”。听起来挺高大上吧？ 平心而论... 其实说白了它就是网站和搜索引擎蜘蛛之间的一份“君子协定”，或者说是你贴在门口的一张“告示”。

这事儿我可太有发言权了。 想象一下搜索引擎的爬虫就像是一个不知疲倦的快递员，每天在互联网上疯狂穿梭。当它来到你的网站门口时 它第一件事不是去抓你的文章，而是先去根目录下找这个叫robots.txt的小纸条。这张纸条上写着：“嘿，哥们，这间屋子你不能进，那间屋子你可以随便看。”

很多新手朋友可能不知道，robots.txt文件都是放在网站根目录下面。怎么找呢？很简单，我们只要在域名后面输入/robots.txt，然后按确认键，就会弹出robots文件内容。如果这时候屏幕显示404 Not Found， 那恭喜你，你的网站正处于“裸奔”状态，蜘蛛进来就像进了迷宫，或者更糟糕——它把你的后台管理页面也当成普通内容给抓走了，你猜怎么着？。