如何防止网站内容被采集，保护原创，提升网站价值？
- 内容介绍
- 相关推荐
做一个原创博主或者网站运营者，说实话，心里挺苦的。你每天起早贪黑，查阅无数资料，甚至熬着大夜，好不容易敲出一篇自认为还不错的文章，满心欢喜地点击发布。后来啊呢？也许还没等到搜索引擎收录，你的心血就已经出现在了无数个垃圾采集站上。那种感觉， 就像是你辛辛苦苦种的庄稼， 我舒服了。 还没来得及收割，就被一群不劳而获的人给偷走了甚至连个招呼都不打。这不仅仅是流量的问题，更是对原创者尊严的践踏。所以 今天咱们不聊那些虚头巴脑的理论，实实在在地探讨一下：如何防止网站内容被采集，保护原创，提升网站价值？
一、 认清现实：没有绝对的平安，只有增加“偷窃”的成本
先说说咱们得把话说明白，别被市面上那些夸大其词的“防采集插件”给忽悠了。只要你的内容是公开的，只要浏览器能正常显示，按道理讲就没有办法防止采集。毕竟采集器本质上就是一个模拟浏览器的程序，它能看到什么就能抓走什么。但是这并不代表我们就只能束手待毙。 躺赢。 我们的目标不是建立一个无法攻破的堡垒，而是要让采集者觉得“不划算”。我们要做的， 就是给他们的“偷窃”过程制造麻烦，增加他们的时间成本和技术门槛，甚至让他们采集到的内容变成一堆毫无价值的垃圾。
试想一下 如果一个采集者花了大价钱买的采集器，跑到你这里抓取了一堆乱码，或者抓回去的内容里全是你的版权声明和广告链接， 整起来。 他还会再来第二次吗？肯定不会。这就是我们的策略：防御是为了驱逐。
二、 隐形陷阱：利用CSS样式“污染”采集内容
这是一个非常经典且有趣的技术手段，虽然不能防止采集，但是会让采集后的内容充满了你网站的版权说明或者一些垃圾文字。这其中的原理其实很简单：一般采集器只会抓取HTML源代码， 它们通常不会一边下载你的CSS样式表，更不会去解析复杂的JavaScript渲染逻辑。
礼貌吗？ 我们就可以利用这一点， 在网页的特定位置插入一段文字，比如“ 但是 原形毕露，大摇大摆地显示出来。想象一下那个画面：采集者辛辛苦苦复制了一篇文章， 后来啊开头和全是你的版权宣示，中间还夹杂着各种莫名其妙的字符，这种内容发出去，不仅不会给他带来流量，反而会被搜索引擎判定为低质内容。这招虽然有点“损”，但对付无赖最有效。 三、 技术门槛：通过HTTP_REFERER和User-Agent筛选请求 再来说说稍微硬核一点的技术手段。asp和php可以通过读取请求的HTTP_REFERER属性，来判断该请求是否来自本网站。这就好比是你家的大门， 只允许从自家客厅走过来的人进入，如果有人直接从大马路上试图闯进你的卧室，你就可以把他拒之门外，差点意思。。 这种逻辑在一定程度上可以限制采集器，主要原因是很多简单的采集器不会伪造Referer信息。但是这里有个巨大的坑，大家一定要注意：这种做法同样也限制了搜索引擎爬虫。如果百度或者谷歌的蜘蛛无法携带正确的Referer信息， 我服了。 它们就无法抓取你的内容，这将严重影响搜索引擎对网站部分防盗链内容的收录。这就好比你为了防小偷，把窗户封死了后来啊连阳光和新鲜空气也进不来了。 所以 在使用这种方法时必须对搜索引擎的Spider User-Agent进行白名单放行。你需要维护一个User-Agent列表， 允许Googlebot、Baiduspider等知名爬虫访问，而拦截其他可疑的请求。当然 高级的采集器完全可以伪造User-Agent，把自己成百度蜘蛛，这就需要配合其他策略来使用了，最终的最终。。 四、 内容指纹：图片水印与内部链接的“植入” 除了纯文本，图片也是网站价值的重要组成部分，而且图片往往比文字更容易被传播。所以呢，给我们网站里的图片打上自己的logo标识， 一句话概括... 是必不可少的步骤。比如在图片的右下角打上网站的名称+域名，甚至可以加上半透明的防盗印层。 恳请大家... 如果有人采集我们的网站的文章，他们通常会把图片也一并下载过去。但是他们是不可能一张一张去PS图片把水印去掉的，那个工作量太大了。于是采集者把我们的图片发出去后其实吧是在免费帮我们做品牌宣传。每一个看到图片的人，都能看到水印，知道出处在哪里。这叫什么？这就叫“将计就计”。 同样的道理也适用于文字内容。在写原创文章时 我们可以在文章中自然地穿插一些网站名字、链接或者锚文本信息。比如在介绍某个概念时顺带提一句“更多关于XXX的教程，请访问本站的XXX栏目”。要保证文章通顺，不要生硬堆砌。如果有人要采集你的文章， 他需要花大量的时间去处理这些内链，要么保留链接给你送权重，要么一个个手动删除。长时间下来这种繁琐的清理工作就会让他感到厌烦，自然就不会再采集你的网站文章了。 五、 动态迷阵：随机模板与JavaScript渲染 采集器的原理通常比较死板，它们根据关键字符串找出要采集的内容，多做几个列表和内容模板，然后批量套用。针对这个弱点，我们可以使用随机模板来有效地防止采集器，并且这对搜索引擎无任何影响。 总结一下。 什么是随机模板？就是你的网页`标签，或者改变CSS类的命名规则。对于人类用户和搜索引擎 页面显示效果没有任何区别，但对于那些依赖固定规则来定位内容的采集器这简直就是一场灾难。它们抓取到的可能要么是空的，要么是一堆错误的代码。 更进一步，我们可以利用JavaScript来动态加载核心内容。页面刚加载时HTML里只有个框架，真正的文字内容是通过AJAX请求或者JS脚本动态插入的。现在的搜索引擎爬虫已经具备了施行JS的能力， 所以正常收录没问题，但很多低级的采集器是不具备JS施行引擎的，它们面对这种页面只能抓到一堆空气，说句可能得罪人的话...。 六、 律法与行政手段：Robots.txt与版权声明 虽然技术手段能解决大部分问题，但咱们还得讲点“规矩”。通过设置robots.txt文件， 可以告诉搜索引擎爬虫哪些页面是禁止访问的，从而在一定程度上防止内容被采集。当然这主要是针对君子的，对于小人，robots.txt就像是一张废纸，他们根本不会看。 但是这并不代表它没用。它是你网站合规性的一部分。更重要的是我们要在网站页脚显眼位置发布原创声明和版权信息。虽然这不能直接阻止采集，但在发生纠纷时这是你主张权利的重要依据。如果发现某些大平台或者知名网站盗用了你的内容，你可以直接截图保留凭据，发送讼师函或者向对方平台投诉。很多时候，平台为了规避律法风险，会迅速删除侵权内容。 七、 提升价值：让“原版”成为唯一的“正版” 再说说我想说所有的防采集手段都只是辅助。最核心的竞争力，依然在于你网站本身的价值。 推倒重来。 发布原创内容是防止其他网站采集你文章最有效的方法。这听起来有点矛盾，其实不然。 如果你的内容只是简单的文字堆砌，那确实容易被复制替代。但如果你能定期更新和维护你的网站内容， 提升文章质量，加入互动功能，那么用户就会认准你的“原版”。即便别处有同样的文字，用户也会觉得这里才是“大本营”， 好吧好吧... 那里只是个分舵。加密等手段、 水印、使用技术手段、比方说数字版权保护技术，固然可以有效地保护你的文章免受盗用和侵权，但更重要的是建立你的品牌影响力。 PUA。 可以让你的网站看起来更有价值和吸引力，从而降低他人盗用你文章的可能性。试想， 如果你的网站每天都有大量用户活跃，有独特的社区氛围，采集者就算偷走了内容，也偷不走你的灵魂和用户。这种“软实力”的提升，才是最根本的防御。 总而言之，防止网站内容被采集是一场持久战，也是一场猫鼠游戏。asp和php可以通过读取请求的HTTP_REFERER属性， 来判断该请求是否来自本网站从而来限制采集器，同样也限制了搜索引擎爬虫，严重影响搜索引擎对网站部分防盗链内容的收录——所以技术要用对地方。水印、CSS陷阱、JS动态加载、随机模板，这些都是我们手中的武器，纯属忽悠。。 不要指望一劳永逸，也不要主要原因是被采集而气馁。每一次技术的升级，都是在筛选掉那些低级的竞争者。只要我们坚持原创 不断优化用户体验，一边给那些不劳而获者设置足够的路障，我们的网站就能在激烈的竞争中脱颖而出，价值也会越来越高。保护知识产权，就是保护我们自己的未来大家一起加油吧，佛系。。
做一个原创博主或者网站运营者，说实话，心里挺苦的。你每天起早贪黑，查阅无数资料，甚至熬着大夜，好不容易敲出一篇自认为还不错的文章，满心欢喜地点击发布。后来啊呢？也许还没等到搜索引擎收录，你的心血就已经出现在了无数个垃圾采集站上。那种感觉， 就像是你辛辛苦苦种的庄稼， 我舒服了。 还没来得及收割，就被一群不劳而获的人给偷走了甚至连个招呼都不打。这不仅仅是流量的问题，更是对原创者尊严的践踏。所以 今天咱们不聊那些虚头巴脑的理论，实实在在地探讨一下：如何防止网站内容被采集，保护原创，提升网站价值？
一、 认清现实：没有绝对的平安，只有增加“偷窃”的成本
先说说咱们得把话说明白，别被市面上那些夸大其词的“防采集插件”给忽悠了。只要你的内容是公开的，只要浏览器能正常显示，按道理讲就没有办法防止采集。毕竟采集器本质上就是一个模拟浏览器的程序，它能看到什么就能抓走什么。但是这并不代表我们就只能束手待毙。 躺赢。 我们的目标不是建立一个无法攻破的堡垒，而是要让采集者觉得“不划算”。我们要做的， 就是给他们的“偷窃”过程制造麻烦，增加他们的时间成本和技术门槛，甚至让他们采集到的内容变成一堆毫无价值的垃圾。
试想一下 如果一个采集者花了大价钱买的采集器，跑到你这里抓取了一堆乱码，或者抓回去的内容里全是你的版权声明和广告链接， 整起来。 他还会再来第二次吗？肯定不会。这就是我们的策略：防御是为了驱逐。
二、 隐形陷阱：利用CSS样式“污染”采集内容
这是一个非常经典且有趣的技术手段，虽然不能防止采集，但是会让采集后的内容充满了你网站的版权说明或者一些垃圾文字。这其中的原理其实很简单：一般采集器只会抓取HTML源代码， 它们通常不会一边下载你的CSS样式表，更不会去解析复杂的JavaScript渲染逻辑。
礼貌吗？ 我们就可以利用这一点， 在网页的特定位置插入一段文字，比如“ 但是 原形毕露，大摇大摆地显示出来。想象一下那个画面：采集者辛辛苦苦复制了一篇文章， 后来啊开头和全是你的版权宣示，中间还夹杂着各种莫名其妙的字符，这种内容发出去，不仅不会给他带来流量，反而会被搜索引擎判定为低质内容。这招虽然有点“损”，但对付无赖最有效。 三、 技术门槛：通过HTTP_REFERER和User-Agent筛选请求 再来说说稍微硬核一点的技术手段。asp和php可以通过读取请求的HTTP_REFERER属性，来判断该请求是否来自本网站。这就好比是你家的大门， 只允许从自家客厅走过来的人进入，如果有人直接从大马路上试图闯进你的卧室，你就可以把他拒之门外，差点意思。。 这种逻辑在一定程度上可以限制采集器，主要原因是很多简单的采集器不会伪造Referer信息。但是这里有个巨大的坑，大家一定要注意：这种做法同样也限制了搜索引擎爬虫。如果百度或者谷歌的蜘蛛无法携带正确的Referer信息， 我服了。 它们就无法抓取你的内容，这将严重影响搜索引擎对网站部分防盗链内容的收录。这就好比你为了防小偷，把窗户封死了后来啊连阳光和新鲜空气也进不来了。 所以 在使用这种方法时必须对搜索引擎的Spider User-Agent进行白名单放行。你需要维护一个User-Agent列表， 允许Googlebot、Baiduspider等知名爬虫访问，而拦截其他可疑的请求。当然 高级的采集器完全可以伪造User-Agent，把自己成百度蜘蛛，这就需要配合其他策略来使用了，最终的最终。。 四、 内容指纹：图片水印与内部链接的“植入” 除了纯文本，图片也是网站价值的重要组成部分，而且图片往往比文字更容易被传播。所以呢，给我们网站里的图片打上自己的logo标识， 一句话概括... 是必不可少的步骤。比如在图片的右下角打上网站的名称+域名，甚至可以加上半透明的防盗印层。 恳请大家... 如果有人采集我们的网站的文章，他们通常会把图片也一并下载过去。但是他们是不可能一张一张去PS图片把水印去掉的，那个工作量太大了。于是采集者把我们的图片发出去后其实吧是在免费帮我们做品牌宣传。每一个看到图片的人，都能看到水印，知道出处在哪里。这叫什么？这就叫“将计就计”。 同样的道理也适用于文字内容。在写原创文章时 我们可以在文章中自然地穿插一些网站名字、链接或者锚文本信息。比如在介绍某个概念时顺带提一句“更多关于XXX的教程，请访问本站的XXX栏目”。要保证文章通顺，不要生硬堆砌。如果有人要采集你的文章， 他需要花大量的时间去处理这些内链，要么保留链接给你送权重，要么一个个手动删除。长时间下来这种繁琐的清理工作就会让他感到厌烦，自然就不会再采集你的网站文章了。 五、 动态迷阵：随机模板与JavaScript渲染 采集器的原理通常比较死板，它们根据关键字符串找出要采集的内容，多做几个列表和内容模板，然后批量套用。针对这个弱点，我们可以使用随机模板来有效地防止采集器，并且这对搜索引擎无任何影响。 总结一下。 什么是随机模板？就是你的网页`标签，或者改变CSS类的命名规则。对于人类用户和搜索引擎 页面显示效果没有任何区别，但对于那些依赖固定规则来定位内容的采集器这简直就是一场灾难。它们抓取到的可能要么是空的，要么是一堆错误的代码。 更进一步，我们可以利用JavaScript来动态加载核心内容。页面刚加载时HTML里只有个框架，真正的文字内容是通过AJAX请求或者JS脚本动态插入的。现在的搜索引擎爬虫已经具备了施行JS的能力， 所以正常收录没问题，但很多低级的采集器是不具备JS施行引擎的，它们面对这种页面只能抓到一堆空气，说句可能得罪人的话...。 六、 律法与行政手段：Robots.txt与版权声明 虽然技术手段能解决大部分问题，但咱们还得讲点“规矩”。通过设置robots.txt文件， 可以告诉搜索引擎爬虫哪些页面是禁止访问的，从而在一定程度上防止内容被采集。当然这主要是针对君子的，对于小人，robots.txt就像是一张废纸，他们根本不会看。 但是这并不代表它没用。它是你网站合规性的一部分。更重要的是我们要在网站页脚显眼位置发布原创声明和版权信息。虽然这不能直接阻止采集，但在发生纠纷时这是你主张权利的重要依据。如果发现某些大平台或者知名网站盗用了你的内容，你可以直接截图保留凭据，发送讼师函或者向对方平台投诉。很多时候，平台为了规避律法风险，会迅速删除侵权内容。 七、 提升价值：让“原版”成为唯一的“正版” 再说说我想说所有的防采集手段都只是辅助。最核心的竞争力，依然在于你网站本身的价值。 推倒重来。 发布原创内容是防止其他网站采集你文章最有效的方法。这听起来有点矛盾，其实不然。 如果你的内容只是简单的文字堆砌，那确实容易被复制替代。但如果你能定期更新和维护你的网站内容， 提升文章质量，加入互动功能，那么用户就会认准你的“原版”。即便别处有同样的文字，用户也会觉得这里才是“大本营”， 好吧好吧... 那里只是个分舵。加密等手段、 水印、使用技术手段、比方说数字版权保护技术，固然可以有效地保护你的文章免受盗用和侵权，但更重要的是建立你的品牌影响力。 PUA。 可以让你的网站看起来更有价值和吸引力，从而降低他人盗用你文章的可能性。试想， 如果你的网站每天都有大量用户活跃，有独特的社区氛围，采集者就算偷走了内容，也偷不走你的灵魂和用户。这种“软实力”的提升，才是最根本的防御。 总而言之，防止网站内容被采集是一场持久战，也是一场猫鼠游戏。asp和php可以通过读取请求的HTTP_REFERER属性， 来判断该请求是否来自本网站从而来限制采集器，同样也限制了搜索引擎爬虫，严重影响搜索引擎对网站部分防盗链内容的收录——所以技术要用对地方。水印、CSS陷阱、JS动态加载、随机模板，这些都是我们手中的武器，纯属忽悠。。 不要指望一劳永逸，也不要主要原因是被采集而气馁。每一次技术的升级，都是在筛选掉那些低级的竞争者。只要我们坚持原创 不断优化用户体验，一边给那些不劳而获者设置足够的路障，我们的网站就能在激烈的竞争中脱颖而出，价值也会越来越高。保护知识产权，就是保护我们自己的未来大家一起加油吧，佛系。。