搜索引擎用得可多了 现在我们用Python爬虫来提取百度搜索内容，再进一步分析内容，就Neng让搜索变得简单多了。这篇文章就是教大家用Python抓取百度查询后来啊的方法，复盘一下。。

HTML的语法和标识符

恕我直言... HTML就像有自己的一套语言， 用不同的符号来表示不同的格式，比如字体、颜色、位置等等。我们要提取文本信息的时候，就要把这些符号去掉。去掉这些符号其实不难，主要原因是它们dou有自己的规则，我们按照规则取信息就行。dan是 我们在识别信息的时候，还要记录hen多格式信息，比如文字的大小、是不是标题、是不是加粗显示、是不是页面的关键词等等。这些信息Neng帮助我们判断一个单词在网页里的重要程度。

过滤无用的链接

除了标题和正文， 网页上还有hen多广告链接和公共频道链接，这些和正文一点关系dou没有。在提取网页内容的时候，我们也要过滤掉这些无用的链接。比如 一个网站有一个“产品介绍”频道， 我当场石化。 主要原因是导航条在网站每个网页dou有，如guo我们不过滤导航条链接，那么在搜索“产品介绍”的时候，suo有网页dou会出现，这样就带来了hen多垃圾信息。

网络蜘蛛的设计

这就需要我们设计网络蜘蛛的时候有一定的 性。dui与多媒体、图片等文件，我们一般是tong过链接的锚文本和相关的文件注释来判断这些文件的内容。比如 一个链接写着“张曼玉照片”， 推倒重来。 链接指向一张bmp格式的图片，那么网络蜘蛛就知道这张图片的内容是“张曼玉的照片”。这样，在搜索“张曼玉”和“照片”的时候douNeng找到这张图片。

遵守网络协议

搜索引擎抓取系统直接关系到互联网资源提供者的利益， 为了双方douNeng赢，抓取过程中双方必须遵守一定的规范， 我深信... 这就是我们说的网络协议。比如http协议是超文本传输协议，是互联网上应用Zui为广泛的协议。

搜索引擎的抓取过程

我们要把搜索引擎当成对手， 要想着超越它，把Zui好的一面展示给它kan。下面我来给大家讲讲搜索引擎具体是怎么抓取网站文章的。

网站流畅性

放弃。suo以我们要保证网站的流畅性。

网站内容geng新频繁

网站内容要经常geng新， 页面结构要清晰，使用HTTPS，使用XML SiteMap，避免使用Ajax 投放、合理利用robots.txt等方法，可yi提高搜索...

robots协议

robots.txt是搜索引擎访问一个网站时要访问的第一个文件，用来确定哪些是被允许抓取的，哪些是被禁止抓取的。搜索引擎和资源提供者之间存在相互依赖的关系， 其中搜索引擎需要站长为其提供资源，否则搜索引擎就无法满足用户检索需求；而站长需要tong过搜索引擎将自己的内容推广出去获取geng多的受众。

动态网页的处理

归根结底。 动态网页dui与网络蜘蛛来说是个难题。动态网页是由程序自动生成的页面 好处是可yi快速统一geng改网页风格，也可yi减少网页所占服务器的空间，但同样给网络蜘蛛的抓取带来一些麻烦。dui与许多数据是放在数据库的网站， 需要tong过本网站的数据库搜索才Neng获得信息，这些给网络蜘蛛的抓取带来hen大的困难。