測試的網站不想被百度抓取，也不想搜索關鍵詞排名，應該怎設置？(網站測試不包括)

當網站設計完成後，網站上線前我們應該給網站做一個基本的測試，主要是看看網站還有沒有什麼問題。如果不給網站做測試就上線，就有可能出現問題，直接導致網站在搜索引擎的排名。那麼，給網站測試，你該關注哪些指標呢？

1、網站定位

網站一定要有準確的定位，網站的標題、核心關鍵詞、描述都要準確，查看主頁，欄目頁面，內容頁面，有沒有錯誤的，不要再網站的每個頁面使用相同的標題，關鍵詞和描述，這樣對網站沒有任何好處的。

2、伺服器速度

可以利用一些工具來檢測伺服器的反應時間以及是否超時。

3、HTTP狀態碼

當網站沒有做優化的時候，網站的主頁會出現四條路徑，這四條路徑會分散網站的權重，每條得到四分之一。301重定向對於網站來說是非常重要的，可以給網站首頁設置默認index.html。還有就是404頁面，404頁面可以降低用戶的跳轉率，提高用戶體驗。

4、網站內容的添加

剛上線的網站內容很少，不要一次性添加大量內容，需要循序漸進的添加內容，內容最好是原創的，這樣對網站的發展才有所幫助。

5、文章頁優化

當進入到網站內容頁時候，可以在網站的底部添加一些相關鏈接，或者用戶喜歡的主題，這樣可以提高用戶停留在網站的時間，同時也能提高用戶體驗，增加網站排名。但要記住，不要把網站的每個頁面弄得相關性太強了，這樣會影響到網站的優化。

6、robots.txt設置

禁止搜索引擎抓取網站的無關頁面，禁止蜘蛛爬蟲進入到網站。

這些就是網站上線前必不可少的準備工作，只有經過了層層檢測，網站才能正式上線，這樣才對網站順利的運行下去。

#####

有些站長比較喜歡將站點上線測試（不喜歡在本地測試），但是又不想被百度等搜索引擎抓取，那麼應該怎麼暫時屏蔽呢？今天boke112就跟大家簡單介紹幾種方法。

方法一：WordPress站點的直接後台設置

WordPress站點可以直接登錄站點後台 >> 設置 >> 閱讀 >> 勾選「建議搜索引擎不索引本站點」並點擊【保存更改】即可。

方法二：通過robots.txt禁止

直接在網站根目錄中新建一個robots.txt文件，然後在文件中添加以下代碼：

User-Agent: *

Disallow: /

方法三：通過noindex標記來禁止

直接在站點的頭文件header.php文件中添加以下代碼：

<meta name=\\\"robots\\\" content=\\\"noindex\\\" >

方法四：通過PHP代碼禁止（WordPress站點為例）

將以下代碼添加到主題目錄的functions.php當中：

ob_start(\\\"Deny_Spider_Advanced\\\");

function Deny_Spider_Advanced() {

$UA = $_SERVER[\'HTTP_USER_AGENT\'];

$Spider_UA = \'/(spider|bot|)/i\'; //定義需要禁止的蜘蛛UA，一般是spider和bot

//如果檢測到UA不為空而且發現是蜘蛛則返回404

if($UA && preg_match_all($Spider_UA,$UA)) {

header(\'HTTP/1.1 403 Forbidden\');

header(\\\"status: 403 Forbidden\\\");

}

}

可以自行替換或添加以上的spider|bot，多個用|隔開即可。

方法五：Nginx禁止

在server{}中添加以下代碼：

#如果抓取的UA中含有spider或bot時返回403

if ($http_user_agent ~* \\\"spider|bot\\\") {

return 403; #如果是刪除已收錄的，則可以返回404

break;

}

可以自行替換或添加以上的spider|bot，多個用|隔開即可。

方法六：Apache禁止

在.htaccess中添加以下代碼：

RewriteEngine On

RewriteCond %{HTTP_USER_AGENT} (^$|spider|bot) [NC]

RewriteRule ^(.*)$ - [F]

可以自行替換或添加以上的spider|bot，多個用|隔開即可。

總結

理論上以上6種方法都有效，建議找適合自己站點的一種辦法來使用即可。一般採用方法二比較普遍，如果能夠結合方法五或六來使用估計效果更佳。