一、什么是URL ？

哦，你们知道URL不？就是我们在浏览器里输入的那个一串乱七八糟的东西，比如“http://www.example.com/page1”。这个就是URL，它告诉电脑我们想看哪个网页。那URL 呢，就是把这个乱七八糟的东西改得更漂亮、更方便别人看懂。

二、为什么我们要 URL？

嗯， 主要原因是如果我们的URL乱七八糟的，别人看不懂，搜索引擎也抓取不到，那我们的网站就没人来访问了就像一个藏起来的宝藏，别人找不到，宝藏就白藏了。所以我们要把URL ，让它变得好看又好找，我狂喜。。

三、如何 URL？

哦， 这个嘛，我来告诉你几个小窍门：

1. 简单明了

杀疯了！ 我们不要用那些难懂的字眼，比如“?p=123456”，这样别人看不懂，搜索引擎也抓不到。我们用“page123”这样的，一看就知道是第123页。

2. 有意义

太硬核了。 我们不要用那些没有意义的字母和数字， 比如“http://www.example.com/123456789”，这样别人看不懂。我们用“http://www.example.com/new-products”，这样一看就知道是新产品。

3. 静态化

哦，你们知道动态URL吗？就是那些带“?p=123456”的。这样的URL搜索引擎不喜欢，主要原因是它会变来变去，内容一样，但是URL不一样。我们要把它 成静态的，就像“http://www.example.com/products/new”这样。

四、 URL的好处

哦， URL的好处可多了：

1. 提高用户体验

别人一看就能明白我们的网站是干什么的，这样他们就会更喜欢我们的网站，实不相瞒...。

2. 提高搜索引擎排名

搜索引擎喜欢那些简单明了、 有意义的URL，这样它们就能更好地抓取我们的网站，提高我们的排名，挖野菜。。

3. 防止内容重复

如果我们不 URL， 搜索引擎可能会抓取到很多重复的内容， 太离谱了。 这样就会浪费它们的资源。 URL可以防止这种情况发生。

哦，一下通过URL ，我们可以让我们的网站更漂亮、更方便别人访问，还能提高搜索引擎排名。所以你们要记住哦， URL很重要！

那么在“待抓取列表”里的URL，哪些是能被优先抓取，哪些是被次要抓取的呢，说起来...？

放心去做... 按4个条件筛选：×××+×××+×××+×××+×××=。

PUA。 这种URL就能保证唯一化而不会和其他情况混淆了所以URL中要尽量用有意义的字符。这不是主要原因是要在URL增加关键词密度而这么做的，是为了方便搜索引擎抓取。?

站在你的角度想... 正如所有搜索引擎都强调的那样， 动态参数是一个经常产生URL不一样、但是内容一样的现象的原因。所以搜索引擎建议大家用静态化的方法去掉那些参数。静态化的本质是URL唯一化， 在《优化网站的抓取与收录》这篇文章中，曾经用的“一人一票”这个描述就很贴切的表达了这个意思。静态化只是一个手段而不是目的， 为了保证URL的唯一化，可以把URL静态化、也可以用robots.txt或nofollow屏蔽动态内容、可以用rel=canonical属性、还可以在webmaster tool里屏蔽一些参数等等。

说起来... 在《谷歌搜索引擎入门指南》中， google建议要优化好网站的URL结构，如建议不要用“…/dir1/dir2/dir3/dir4/dir5/dir6/page.html”这样的多层嵌套。 我直接好家伙。 就是主要原因是在待抓取列表里在其他条件相同的情况下爬虫会优先抓取目录层级浅的URL。如用Lynx在线版查看本网站的页面： 而静态化也会有好的静态化和不好的静态化之别。我们这里不说那种把多个参数直接静态化了的案例， 这事儿我可太有发言权了。 而是单纯来看看如下两个URL： 总共可以组合出的URL数量为：++++= 个，卷不动了。。 其实还有更多的“无限空间”的例子， 只是“无限空间”这个名词没怎么翻译好，翻译做“无限循环”就容易理解多了。 举一个例子： 按2个条件筛选：×+×+×+×+×+×+×+×+×+×= 。 主要原因是在“待抓取列表”里的URL，爬虫并不会每一个链接都会抓取的。 链接放在这个列表里是没问题的， 但是爬虫没有那么多时间也没必要每个链接都要去抓取，需要有一定的优先级。在“待访问列表”里 爬虫一边按照优先级抓取一部分的URL， 麻了... 一边把还未被抓取的URL记录下来等待下次抓取，只是这些还未被抓取的URL，下次爬虫来访问的频率就每个网站都不一样了 每一类URL被访问的频率也不一样。 胡诌。 这里有一个问题， 很多人肯定想问是不是一个网页上所有的链接搜索引擎都会提取的，答案是肯定的。但是在《google网站质量指南》中， 有这样一句：“如果站点地图上的链接超过 个，则需要将站点地图拆分为多个网页。”有些人把这句话理解为：“爬虫只能抓取前100个链接”，这是不对的。 这么做的原因， 就是主要原因是搜索引擎的资源是有限的，一个网站实际拥有的内容也是有限的， PPT你。 但是URL数量是无限的。爬虫需要一些“蛛丝马迹”来确定哪些值得优先抓取，哪些不值得。 容我插一句... 这样的后来啊， 就是造成大量重复的内容以及消耗爬虫很多不必要的时间，这也可以认为是“无限空间”。 这类情况非常常见。 按1个条件筛选： ++++ = 。 http://www.semyj.com/archives/1097和 http://www.semyj.com?p=??，研究研究。 京东商城笔记本分类页面： http://www.360buy 可以。 .com/products/------------.html 按优先级抓取 但是这里又有一个误区， 有人在SEO过程中，把所有的网页都建立在根目录下以为这样能有排名的优势。这样也是没有理解这个原因。而且爬虫在这个网站上先抓取哪些URL后抓取哪些URL， 都是自己的URL和自己的URL比，如果所有网页都是在同一个目录下那就没有区别了，PTSD了...。 成都网站建设公司_创新互联， 为您提供云服务器、网站改版、营销型网站建设、定制网站、网站导航、App开发，内卷... 虽然页面不同，但是他们公用的部分，URL地址是一样的。看起来如果不同的爬虫抓取到这些页面的时候，会重复抓取，从而浪费很多不必要的时间。?这确实是一个问题，不过这个问题搜索引擎倒是基本解决好了。其实吧，爬虫的抓取模式不是像我们理解的那样看到一个网页就开始抓取一个网页的，优化一下。。 爬虫顺着一个个的URL在互联网上抓取网页， 它一边下载这个网页，一边在提取这个网页中的链接。假设从搜索引擎某一个节点出来的爬虫有爬虫A、 爬虫B、 嗯，就这么回事儿。 爬虫C，当它们到达semyj这个网站的时候，每个爬虫都会抓取到很多URL，然后他们都会把那个页面上所有的链接都放在一个公用的“待抓取列表”里。 http://www.semyj.com/archives/seo-jingli?，准确地说... 这样一来 在“待抓取列表”里那些重复的URL就可以被去重了。这是一个节点在一种理想状态下的情况， 不过其实吧主要原因是搜索引擎以后还要更新这个网页等等一些原因，一个网站每天还是有很多重复抓取。所以在以前的文章中，我告诉大家用一些方法减少重复抓取的几率。 我舒服了。 如何做网站URL优化 1、 在设计网站结构、URL时,尽量避开非主流设计, 简单平常就好。 2、 建议URL中不要含有中文字符,主要原因是中...... 国平seo上面举的京东商城的例子还是不怎么严重的，有的网站能组合出几亿甚至无穷无尽个URL出来。我在国内和国外看过那么多同类的网站，居然发现迄今为止只有两家网站注意到了这个问题。究其原因，还是主要原因是很多SEO人员不太重视数据， 摆烂。 这种问题稍微分析爬虫的日志就可以看出来的。直到现在 还有一些SEOer认为把这些以前是动态的页面静态化是个有积极意义的事情，没看到不好的一面就是这样的动作制造出了大量重复的页面向来就是一个在SEO方面不好的改动。 官宣。 这两个URL中，这个静态化的是不是就比动态的好呢? 其实吧这两个URL的差别很小。先说说这两种URL搜索引擎都能收录， 如果说动态URL“?p=”可能产生大量重复的内容让爬虫抓取，那这个静态的URL“archives/”也不能保证不会产生大量重复的内容。特别是爬虫在抓取时碰到大量有ID的静态的URL时 爬虫无法判断这个网站是不是把session ID等参数静态化了才造成的，还是这个网站本来就有这么多内容。 所以更好的静态化是这样的：? 累并充实着。 笔记本分类里总共才 624个商品， 要放在18239个页面中，而有的页面一个页面就能放32个产品。势必造成大量的页面是没有商品的。如点击这几个筛选条件后 就没有匹配的商品出来了： 爬虫有一个特点，就是它不能实时的比较它正在抓取的内容是不是重复的内容。主要原因是如果要做到实时的比较， 那它至少要把正在抓取的页面和那些已经在索引库的页面做对比，这是不可能短时间内可以完成的。 前面把所有URL统一放到一个待抓取列表中的方法只能避免那种URL完全一模一样的重复抓取， 但是无法应对URL不一样、但是内容一样的抓取。 多损啊！ 如果说 在这17个链接里爬虫只能选几个链接抓取的话，红色箭头所指的链接在其他条件相同的情况下是要优先的。 按5个条件筛选：××××=。 这个页面中， 品牌有18个分类、价格9个分类、尺寸7个分类、平台3个分类、显卡2个分类。 那么可以组合成的URL个数为： 本文名称：SEM一家之言：如何规划好网站的URL，搞一下... 当点击“惠普”+“11英寸”这2个条件后能出来一个页面点击“联想”+“14英寸”+“独立显卡”也能出来一个页面。 真香！ 那总共能出来的页面有多少呢? 我们稍微思考一下都能明白这个抓取的优先级策略应该怎么定。先说说 那些目录层级比较深的URL是次要抓 中肯。 取的;那些在模板部分的或重复率非常高的URL是被次要抓取的;那些动态参数多的URL是次要抓取的….. 好的规划URL目录层级的方式，就是按照业务方的逻辑来规划，从内容上应该是什么从属关系就怎么规划URL就是。就像《谷歌搜索引擎入门指南》中举的那些例子一样。 无后来啊 待抓取列表