测试的网站不想被百度抓取，也不想搜索关键词排名，应该怎设置？(网站测试不包括)

当网站设计完成后，网站上线前我们应该给网站做一个基本的测试，主要是看看网站还有没有什么问题。如果不给网站做测试就上线，就有可能出现问题，直接导致网站在搜索引擎的排名。那么，给网站测试，你该关注哪些指标呢？

1、网站定位

网站一定要有准确的定位，网站的标题、核心关键词、描述都要准确，查看主页，栏目页面，内容页面，有没有错误的，不要再网站的每个页面使用相同的标题，关键词和描述，这样对网站没有任何好处的。

2、服务器速度

可以利用一些工具来检测服务器的反应时间以及是否超时。

3、HTTP状态码

当网站没有做优化的时候，网站的主页会出现四条路径，这四条路径会分散网站的权重，每条得到四分之一。301重定向对于网站来说是非常重要的，可以给网站首页设置默认index.html。还有就是404页面，404页面可以降低用户的跳转率，提高用户体验。

4、网站内容的添加

刚上线的网站内容很少，不要一次性添加大量内容，需要循序渐进的添加内容，内容最好是原创的，这样对网站的发展才有所帮助。

5、文章页优化

当进入到网站内容页时候，可以在网站的底部添加一些相关链接，或者用户喜欢的主题，这样可以提高用户停留在网站的时间，同时也能提高用户体验，增加网站排名。但要记住，不要把网站的每个页面弄得相关性太强了，这样会影响到网站的优化。

6、robots.txt设置

禁止搜索引擎抓取网站的无关页面，禁止蜘蛛爬虫进入到网站。

这些就是网站上线前必不可少的准备工作，只有经过了层层检测，网站才能正式上线，这样才对网站顺利的运行下去。

#####

有些站长比较喜欢将站点上线测试（不喜欢在本地测试），但是又不想被百度等搜索引擎抓取，那么应该怎么暂时屏蔽呢？今天boke112就跟大家简单介绍几种方法。

方法一：WordPress站点的直接后台设置

WordPress站点可以直接登录站点后台 >> 设置 >> 阅读 >> 勾选“建议搜索引擎不索引本站点”并点击【保存更改】即可。

方法二：通过robots.txt禁止

直接在网站根目录中新建一个robots.txt文件，然后在文件中添加以下代码：

User-Agent: *

Disallow: /

方法三：通过noindex标记来禁止

直接在站点的头文件header.php文件中添加以下代码：

<meta name=\\\"robots\\\" content=\\\"noindex\\\" >

方法四：通过PHP代码禁止（WordPress站点为例）

将以下代码添加到主题目录的functions.php当中：

ob_start(\\\"Deny_Spider_Advanced\\\");

function Deny_Spider_Advanced() {

$UA = $_SERVER[\'HTTP_USER_AGENT\'];

$Spider_UA = \'/(spider|bot|)/i\'; //定义需要禁止的蜘蛛UA，一般是spider和bot

//如果检测到UA不为空而且发现是蜘蛛则返回404

if($UA && preg_match_all($Spider_UA,$UA)) {

header(\'HTTP/1.1 403 Forbidden\');

header(\\\"status: 403 Forbidden\\\");

}

}

可以自行替换或添加以上的spider|bot，多个用|隔开即可。

方法五：Nginx禁止

在server{}中添加以下代码：

#如果抓取的UA中含有spider或bot时返回403

if ($http_user_agent ~* \\\"spider|bot\\\") {

return 403; #如果是删除已收录的，则可以返回404

break;

}

可以自行替换或添加以上的spider|bot，多个用|隔开即可。

方法六：Apache禁止

在.htaccess中添加以下代码：

RewriteEngine On

RewriteCond %{HTTP_USER_AGENT} (^$|spider|bot) [NC]

RewriteRule ^(.*)$ - [F]

可以自行替换或添加以上的spider|bot，多个用|隔开即可。

总结

理论上以上6种方法都有效，建议找适合自己站点的一种办法来使用即可。一般采用方法二比较普遍，如果能够结合方法五或六来使用估计效果更佳。