为什么我的网站被两种原因阻止了蜘蛛爬取？掌握技巧，快速提升排名！

我刚刚在一个行业论坛看到一条令人心疼的帖子，内容简较短却充满了站较长们的焦虑：“我的网站怎么连百度蜘蛛都不来抓取？”那一瞬间，我仿佛听见了无数个网站的呼喊——它们被无形的墙壁封锁， 说真的... 失掉了前进的动力。今天我想跟你一起拆开这堵墙，找出两较大根源，并给你一份能让排名飙升的实战指南。

1️⃣ 第一步：确认你真实的挡住了蜘蛛

很更多站较长误以为自己的网站是“全能”之作，却忽略了一件最基本却最致命的事情——robots.txt。如果这份文件写得不对，它就像是一道无形的门槛，让全部搜索引擎的较小爬虫望而却步。

a) 检查较大较小写与语法

robots.txt 是较大较小写敏感的文件；若你写成 “User‑Agent:*”，就会被觉得是“用户代理 *”。除此之外部分老陈旧服务器对空格和注释行处理不当，一旦出现更多余空格或违法字符，蜘蛛就会直接跳过整个文件，太刺激了。。

b) 细节决定成败

以下几种常见错误可迅速致命：

• User-agent: * 如果后面跟着Disallow:/那等于把整站封锁。
• User-agent: Baiduspider 只屏蔽百度， 但遗忘保留其它爬虫，也会引起整体抓取率持续下降。
• # 注释行 在注释行前加上错误符号， 如“

c) 切勿在开发阶段遗忘恢复权限

到时候….. 很更多开发者在测试周边环境中采用 User-agent: *  Disallow:/ 来避免爬虫抓取， 但上线后遗忘改回去，引起正式版也被屏蔽。检查一下你的生产周边环境有没有还保留了测试时残留的指令。