百度站长SEO问题答疑：网站抓取建设指南

1、百度爬虫工作原理

百度站长SEO问题答疑：网站抓取建设指南

抓取系统是站长服务器与百度搜索的一个桥梁，我们通常把抓取系统称之为抓取环。

举例：以首页为例，“抓取器”与“网站服务器”交互抓取首页，进行对页面进行理解，包含类型、价值的计算，此外还会把页面所有超链接提取出来，提取出来的链接叫“后链”，后链是下一轮抓取的链接集合。下一轮抓取会从上一轮的后链选择需要抓取的数据去抓取，继续和网站交互获取页面提取链接，反复不断一层一层循环构成抓取环路。

2、抓取友好性优化

URL规范

url尽可能不要复杂，新站刚开始抓，蜘蛛并不知道URL里面的内容什么样，url长短？是否规范？是不是被选出来（指抓取）非常关键的。URL核心有两点：主流和简单。不要使用中文/中文编码虽然百度能识别，蜘蛛支持256个字符，建议小于<100字符。偏长URL不占有优势。

参数以及无效参数的问题？

url尽可能不要使用无效的参数“？”“&”会让一条资源，在蜘蛛没有抓取的情况下抓取多个相同内容，不同url导致重复抓取，浪费站点的权益。希望站长尽可能不适用参数，或者精简参数，仅保留必要参数，不要使用- #等连接符

合理发现链路

蜘蛛要尽可能的抓取完整网站资源，就需要首页到每一个资源（页面）超链接关系都做好，这样蜘蛛也会省力。从首页到内容来的路径是从首页到栏目一再到这个内容，这个链路关系我就把它称为一个发现链路。

举例：feed流 和 仅有搜索首页的页面，这类站点建议增加索引页，让蜘蛛发现更多有价值的内容，索引页要按照时间历史顺序排序，新资源要实时发布到索引页上，目的是尽可能的曝光给蜘蛛，也不要做大量的泛滥的索引页。后链的URL要在页面源码中直接露出，不要引入一些动作触发。最好是使用百度资源平台的资源提交工具。

Q：资源提交是不是越多越好?

A：收录效果的核心永远是内容质量，如果大量提交低质、泛滥资源会导致被算法别识别为低质，带来惩罚性打压。

Q：为什么提交了普通收录但没有抓?

A：资源提交只能加速资源发现，不保证短时间内抓取;同时技术大大在持续优化筛选算法，让优质的资源更快得到抓取。普通收录和sitemap 的作用不是提交后立马抓取，具体什么时候抓还是依赖策略的一个计算和选取。

注：所以好多新站/低质量站点刚开始提交，看不到蜘蛛爬取。

访问友好性

抓取器和网站要进行交互，要保证服务器稳定。

访问速度优化

两个建议，第一点 加载时间，建议控制在两秒以内加载，会有一定程度的优待。第二点 避免非必要的跳转，而且多级跳转也会影响加载速度。

服务器负载稳定︰

特别在短时间内大量提交优质资源后，关注服务器稳定，真的很优质且量大的内容，蜘蛛爬取频次会很高的。

抓取频次的高低和网站收录是否有联系？

抓取频次的高低其实和网站收录的效果是没有必然联系。

抓取目的主要分成两种：第一种 抓取网站上没有抓过的页面。第二种 抓取已经抓取过的页面，看这个页面是不是有更新。

注：第二种抓取目的很多站长都会忽略了，已经收录抓取的页面，在一次抓取，应该不是为了发现新页面（猜测），而是看页面是否“更新”内容。

问答环节

新站会不会有固定的抓取次数？

任何网站的抓取中没有一个特别固定的次数。自己建了个新站，其实很长时间百度采取抓取问题，基于这个问题，我们也做了一些相对应的优化，对于我们能识别出来新站，相比已经抓了一段时间的站，我会做一些相对应的流量倾斜的扶持。先给你一些流量，使站长能够在百度的系统里转起来，再基于你的价值判断来看，给予你流量是高还是低，是否需要去继续去提升。

注：本节公开课是五月二十一号的，今年确实有好多已备案新站，上线抓取频次很高，大概有1-2个月扶持。很多人借助百度给的扶持期，疯狂填充低质内容， 这是一个错误的操作。

如何让百度知道你是一个新建的站点？

1、在百度家平台上去做提交。 2、做ICP备案。

每个站点蜘蛛的抓取配会不会有调整？大约多久会调整一次？有没有固定时间？

有调整。对于新资源的抓取和站点的质量相关，对于旧资源的抓取和站点更新频率相关。计算出来你的站点，质量有变化，新资源抓取的频率就会发生变化。发现你的站长规模有变化，我们抓取频次会有变化。站点有很大的变动或改版，被识别出来，更新频率也会有相应变化。而整体上这些计算的，不是一个特别高的频次。大概会到一个周级的变化，才能体现出来。

注：这块说的四种可能会调整，更新变化频率是周级的。

网站将网站降权能否恢复？

网站降权恢复的前提是要针对网站的内容进行全面的自查整改，按照搜索资源平台发布的算法规范自查整改之后，要把相应的违规页面提交死链，线上进行删除之后搜索会对站点评评估。站点的内容都没有违规会进行恢复。

新站点是否有考核期？

没有一个严格的称为考核期的这么一个东西，新站点会有一定一个周期，来进行流量的倾斜，让新站在我们系统里转起来，这个周期大概是月级别的。假设新站已经给你倾斜一到两个月。发现你的价值还是不够高，可能我们就不会去特别高的处理。但是我们依旧会去抓，当发现站点质量有明显提升或优质规模有提升，也会相应去提升站点抓取频次。

注：这块是画重点，已备案，新站扶持期并非固定。

百度对于国外服务器和国内的服务器是否会有区别对待？

没有。从策略角度上来讲，没有一个特别硬性的策略来说，咱们对外网的要打压，对国内的要扶持，没有这样的一个策略的。只不过国外服务器延迟高不稳定因素多。

如果新站用一个老域名，会不会比用新域名更有优势？

这个不一定，在于老域名和新站是不是相同（相关）内容，如果在原来基础包装，起步阶段是有优势的，仅仅是起步阶段有优势。后期主要依赖内容。

老域名和新站内容领域不相符尤，非常不建议使用老域名，反而会影响价值评判，还不如做一个新站。

蜘蛛是否有权重IP之分？

没有。对于网站展现曝光依赖内容质量，结合用户行为进行评价的。

注：很多人一直都认为有蜘蛛权重ip，蜘蛛每天爬取量非常大，最常见的蜘蛛只有两段IP总共512个IP，百度这种出口IP肯定不止512组服务器，集群成千上万的服务器，这512个IP是出口IP，给后方集群服务器进行代理的IP。即使真有权重服务器，但是这个权重服务器也说不准从哪一个Ip出来，下图远端端口。

网站最近不收录有没有建议？

那要结合站点的内容，你的站点发布的内容在线上已经有大量的同质的资源，就会不会再进行抓取和展现。

内容来源：;常州姜东 https://www.dingjianseo.com/seo/252.html 本站可能不是首发，尽请关注

怎样做SEO有利于搜索引擎索引收录

怎样做SEO有利于搜索引擎索引收录，即如何构建便于搜索引擎识别、索引、展现的移动网站。

　　以下将从域名、服务器、加载速度、站点结构、URL结构、PC站与移动站适配、网站被动抓取、网页筛选建库8个方面来分别讲解。

　　1、域名

　　与PC网站一样，域名越短越好。一个好的移动域名，不仅容易记忆、易于输入，还能方便用户向其他人推荐。短并且具有语义化特性的域名让用户更直观地了解网站主旨。

　　2、服务器

　　域名选好了之后，就要配置服务器了。

　　在服务器选用时，得选择正规空间服务商，避免与大量垃圾网站共用IP，一个站点一个服务器IP为佳，保证网站访问的畅通和稳定性。

　　在SEO方面尤其要注意:

　　①减少或杜绝影响网站SEO的不良因素。如网页访问被拒绝、不存在(403、404、503错误等)，其他各种细节注意与PC站点一致，安排专业人员管理操作维护即可，这里不再详述。

　　②保证网站服务器24小时安全、快速、稳定，经常检查自己的PC、移动站点服务器是否被挂马、确保无安全漏洞，防止网页被篡改。

　　3、加载速度

　　加载速度主要针对网页代码及图片，涉及以下几种常用优化点。

　　① 合并文件

　　合并文件是通过把所有的脚本放到一个文件中来减少HTTP请求的方法，如可以简单地把所有的CSS文件都放入一个样式表中。

　　② 图片大小优化

　　尽量把gif格式转换成png格式，尽量使用png8。3部在电理。安装imagmagick， gifsicle， jpegtran， pngcrush 工具。

　　③ 开启GZIP压缩

　　GZIP压缩所有可能的文件类型，是减少文件体积、增加用户体验的简单方互联网交换支持gzip格式。GZIP大概可以减少70%的响应规模。

　　④ 删除代码中的空行、空格和注释。

　　节省搜索引擎蜘蛛的爬行时间。发布前压缩删除代码中的空白和注释等无意义内容，有利于减少网页字节，能解决很大一部分加载速度问题。当然还有很多其他的优化方式，这些可以让 上面列出6种比较常用的代码和图片优化方式，基本上优化完一遍之后，前端工程师协助完善。

　　⑤ CSS Sprites

　　CSS Sprites是减少图像请求的有效方法。片文件中不然后通过CSs的bsyon img和ho属性来园 把所有的背景图像都放到一个图示图片的不同部分。

　　⑥ 外部调用JavaScript和CSS

　　把JavaScript 和CSS 封装，作为外部文件引用， 减少网页源代码中的javascript和css直接出现。

　　4、站点结构

　　网站结构建议采用树型结构，树型结构通常分为首页频道一文章页三个层次。理想的网站结构应该是更扁平一些，从首页到内容页的层次要尽量少，这样搜索引擎处理起来会更简单。

　　对于移动站点优化的要点在于，移动站首页要有重要栏目导航，多给详情页和重要流量承载页面入口:首页布局不能做得太简短，页面内容不能过于单一。

　　5、URL结构

　　具有良好描述性、规范、简单的URL，有利于用户更方便地记忆和直观判断网页内容，也有利于搜索引擎更有效地抓取和理解网页。

　　①详情页的URL尽量短，减少无效参数，例如统计参数等，保证同一页面只有一套URL地址，不同形式的URL301重定向跳转到正常URL上。

　　②Robots封禁百度蜘蛛抓取你不想展示给用户的URL形式以及不愿被百度抓取的私密数据。

　　③移动站的URL也需要静态化，不含过多的参数、符号，避免使用中文URL。

　　6、PC站与移动站适配首

　　站点适配主要是百度提出来的概念。主要是通过在网站meta中添加一段代码以及给百度站长工具提交sitemap，更加准确地让百度搜索引擎明白PC站点与移动站点的一一对应关系，有助于百度在移动搜索中将原PC页结果替换为对应的移动页结果。

　　7、网站被动抓取

　　当做好了PC站点与移动站点的适配之后，接下来就是等待百度的抓取收录了。

　　8、网页筛选建库

　　百度搜索引擎有专门的移动库，为了让更多的移动站点页面被索引，我们需要给予移动网站足够多的特征与PC站页面区分开来，这样就能实现促进移动站点更多入库(收录)。

　　(1)域名尽量以m./wap/3g/mobi./mobile./i.等作为开头。

　　(2)移动站点web头部书写。

　　以上就是为大家总结的怎样做SEO有利于搜索引擎索引收录，希望能给大家带来一定的帮助。