阻止搜索引擎抓取 WordPress 网站

每当在搜索引擎上搜索特定主题时，搜索引擎都会检查不同网站上的各种内容，以将最相关的内容呈现给查看者。

这就是网站特别注意确保其网站保持更新并在搜索引擎上轻松找到的原因。

搜索引擎为查找相关内容而执行的各种功能是爬网、索引和排名。

在使用网络爬虫或蜘蛛等软件识别网站最新内容的过程中进行爬取。

但是，由于他们通常不检查是否对现有页面进行了更新或是否创建了任何新页面，因此他们可能会在一两个月内避免访问网站页面。

索引是搜索引擎处理和存储他们认为与大型数据库相关的网站信息的过程。

当输入一串关键字时，可以从索引中获取此信息。

排名是搜索引擎在搜索主题时按相关性顺序显示结果的方法。

通过定位网站，搜索引擎有助于改善特定网站的自然流量。

因此，人们可能想知道为什么要选择搜索引擎 停止抓取 WordPress 网站.

原因可能多种多样，下面将对其进行讨论。

登台地点

当网站仍在“工作中”时，网站所有者将希望从搜索引擎结果页面或 SERP 中删除他们的网站，直到他们的网站为他们的受众做好准备。

私人博客

许多人使用 WordPress 建立私人博客。 由于它们是私有的，因此他们更愿意防止其网站被搜索引擎抓取或编入索引。

内联网

WordPress 通常用于 Intranet 或项目管理。

为了防止内部文档被公众访问，用户可能希望阻止其爬网。

很多人有这样的观念，如果网站不添加链接，那么搜索引擎就无法找到它们。

但是，事实并非如此，因为搜索引擎可以通过多种方式找到网站。

因此，采取必要措施防止搜索引擎抓取网站非常重要。

防止搜索引擎索引 WordPress 网站

当用户采取必要的操作时，搜索引擎可以停止抓取 WordPress 网站。

以下方法将阻止搜索引擎索引或爬取 WordPress 上的网站。 让我们讨论一下。

方法一：利用WordPress网站的内置功能

在这种方法中，网站所有者可以使用 WordPress 网站的内置功能来防止搜索引擎抓取或索引网站。

此过程涉及的步骤如下：

第1步： 访问 WordPress 网站的管理区域，然后单击“设置”。 从“设置”下方显示的下拉列表中，单击“阅读”。

第2步： 将出现一个名为“搜索引擎可见性”的选项。 接下来，单击“阻止搜索引擎索引此站点”的框。 这将导致 WordPress 编辑 robots.txt 文件并应用阻止搜索引擎索引或抓取网站的规则。

第 3 步： 单击“保存”按钮以确认更改。

方法 2：编辑 robots.txt 文件

如果用户选择通过手动过程阻止索引或爬网，他们可以通过编辑 robots.txt 文件来实现。

该文件位于网站的根目录，这是一种强大的方法，可导致搜索引擎停止抓取 WordPress 网站。

下面讨论该方法中涉及的步骤。

第1步： 使用“文件管理器”或“FTP 客户端”访问网站文件。

第2步： 找到 robots.txt 文件。 通常，它可以在与 WordPress 相同的文件夹中找到，通常是“public_html”文件夹。

但是，如果找不到该文件，可以创建一个新的空白文件。

第 3 步： 输入以下语法

User-agent:*
Disallow: /

此语法指示网络爬虫不索引网站页面。

虽然，大多数搜索引擎都遵守此指令，但是，网站中的一些随机图像或页面可能会被编入索引。

密码保护 WordPress 网站

用户可以通过提供密码保护来保护他们的网站免受搜索引擎的影响，停止抓取 WordPress 网站。 这可以通过以下方法来完成。

方法1：使用主机控制面板密码保护网站

在这种方法中，可以通过访问控制面板或 cPanel 使用密码保护网站。

对于 Hostinger 客户端

以下步骤将有助于密码保护网站

第1步： 访问 Hostinger 控制面板并单击“密码保护目录”图标

第2步： 在此步骤中，选择要保护的目录，即安装 WordPress 的位置。

第 3 步： 选择目录后，输入用户名和密码，然后单击“保护”按钮。

使用 cPanel

使用 cPanel 时需要执行以下步骤

第1步： 登录到 cPanel 帐户并单击“目录隐私”

第2步： 选择安装 WordPress 的文件夹。 一般是'public_html'

第 3 步： 单击“密码保护此目录”并输入要保护的目录的名称。 单击“保存”按钮并填写可以访问受保护目录的“创建用户”表格。 单击“保存”按钮以密码保护 WordPress 网站。

方法2：使用插件密码保护WordPress

有时，如果用户使用托管 WordPress 托管解决方案，他们可能无法访问 cPanel。

在这种情况下，他们可能会使用插件来密码保护他们的网站。

此方法将导致搜索引擎停止抓取 WordPress 网站。

用于此目的的一些流行插件是密码保护插件、WordFence 等。

但是，在选择合适的插件之前，用户必须确保它们是最近更新的。

安装后，他们需要转到设置并为该站点设置一个新密码。

因此，如果网站所有者想要保护他们的网站不被搜索引擎索引或抓取，他们可以使用上述方法。

顺便说一句，如果您正在寻找改善 WordPress 网站搜索引擎存在的步骤？ 您应该检查共享的链接。