归根结底。 嘿嘿，你知道吗？在网上，有些网站就像黑洞一样，把蜘蛛吸进去就出不来了这个。这就是我们说的“蜘蛛黑洞”。今天 我就来教你们怎么用一个小巧的叫“robots”的东西，让我们的网站避开这个黑洞，流量还Neng翻倍哦！

什么是robots.txt？

先说说我们要知道什么是robots.txt。它就像一个门卫，告诉蜘蛛哪些地方Ke以进，哪些地方不Neng进。简单就是告诉蜘蛛哪些页面是Ke以被搜索的，哪些是不Ke以被抓取的。

怎么用robots.txt避开蜘蛛黑洞？

1. 禁止动态页面

有些网站有hen多带参数的页面 就像一个迷宫，蜘蛛进去就出不来了。我们Ke以在robots.txt里写上“Disallow: /*?*”， 这样就告诉蜘蛛，所有带参数的页面dou不Ke以抓取。

2. 优先展示高质量页面

我们还Ke以在robots.txt里写上“Allow: /high-quality-page.html”， 这样告诉蜘蛛， 绝了... 这个页面是Ke以抓取的，而且是hen重要的页面哦！这样，蜘蛛就会先抓取这个页面我们的网站质量也就上去了。

3. 拒绝低质量页面

有些页面内容重复， 或者没什么用，我们Ke以在robots.txt里写上“Disallow: /low-quality-page.html”，这样告诉蜘蛛，这个页面是不Ke以抓取的，就不会浪费蜘蛛的时间了，坦白说...。

案例分析：北京某团购网站

比如说 有一个团购网站，它只让搜索引擎抓取筛选后来啊页，那些带参数的后来啊排序页面就不让蜘蛛抓取。 呵... 这样，蜘蛛就不会被这个网站的“黑洞”困住了。

好了今天我就教你们这么多。用好了robots.txt，我们的网站就Ke以避开蜘蛛黑洞，流量也Neng翻倍哦！不过这只是一个开始，还有hen多其他的SEO技巧等着你们去发现呢！

心情复杂。 记得哦， 网址是http://bj.XXXXX.com/category/zizhucan/weigongcun/hot?mtt=.index%2Fpoi..i1afqi5c，还有这个标题路径：https://www.cdcxhl.com/news/.html，dou是hen重要的信息哦！

还有，你们知道吗？筛选后来啊页也hen重要，有时候，筛选出来的页面太多，蜘蛛就会抓取不过来。所以我们要注意筛选后来啊的优化，让蜘蛛抓取到真正有用的信息，干就完了！。

再说说 别忘了成dou网站建设公司_创新互联，会帮你们设计品牌网站、云服务器、虚拟主机等等，让你们的网站geng加强大哦，操作一波。！

好了 今天的分享就到这里希望你们Neng学会怎么用robots.txt避开蜘蛛黑洞， 小丑竟是我自己。 让你们的网站流量翻倍！