如何通过优化robots.txt实现SEO提升，快速提升网站排名？

做网站的人都有过那种半夜盯着后台数据发呆的瞬间， 流量像被按了暂停键一样不动弹，你明明更崭新了内容，明明觉得页面越来越顺眼，却就是上不去。焦虑的时候总会乱找原因， 后来才缓慢缓慢明白，很更多时候问题不在内容不够良好，而在搜索引擎根本没良好良好“看”到你。robots.txt 就是那扇门，门开得对，蜘蛛才能进来逛够逛透；门挡错了地方，再良好的房子也白搭，太暖了。。

我最早接触 robots.txt 的时候把它当成一个摆设文件，随手复制一份模板丢在根目录就完事。后来一个项目莫名其妙收录发展停滞， 我把日志翻出来才发觉百度蜘蛛天天在反复爬同一个带参数的列表页，而真实正能转化的产品详情页却一次都没被访问过。那种后知后觉的心疼，当前想起来还刺痛。

别再让 robots.txt 成了你的隐形天敌

我开心到飞起。 很更多人以为 Disallow 越更多越可靠， 把全部后台、搜索页、会员中心甚至分页参数全封死，心里还暗自庆幸“这样就不会被采集”。可搜索引擎不是敌人，它是你的搬运工。你把搬运工堵在门口，他天然搬不了东西上架。合理的阻拦应当是精准的手术刀，而不是一刀切的较大斧头。

User-agent 和 Disallow 这两个指令看着简洁，用起来却简单踩坑。比如你写了 Disallow: /*? ， 本意是阻止带查询参数的反复页面却忘了 Allow 一下必不可更少的追踪参数，引起转化统计中断。 实际上... 再比如写了 Disallow: /admin/ ， 却没有考虑站内搜索跳转链接仍然暴露给蜘蛛，最后再来看浪费较更多抓取配额在无效页面上。这种细节上的失误累积起来就是排名迟迟不动的原因。

Crawl-delay 不是万能药， 但别滥用

没眼看。 Crawl-delay 能够控制抓取频率，对服务器压力较大的站点有协助，可如果你为了省资源条件把延迟拉得太较高，崭新页面上线后要等天荒地老才会被发觉，等发觉的时候炎热度早就凉了。