一、什么是爬虫？

现代搜索引擎的思路起源于Wanderes，好多好多人对马休·格雷的蜘蛛程序进行了改进。1994年7月， Michael Mauldin把John Leavitt的蜘蛛程序弄到了他的索引程序里面弄出来一个当时超有名的搜索引擎叫Lycos。这个应该也算是个搜索引擎啦。 我持保留意见... 后来 hen多hen多搜索引擎出来了把爬虫搞得越来越复杂，还开始往多策略、负载均衡和大规模增量抓取这些方向发展。爬虫弄出来的东西， 让搜索引擎Neng慢慢慢慢找到几乎所有互联网上的网页，就算有些网页被删了也Neng通过“网页快照”的功Nengkankan。

二、 爬虫的发展史

我们今天给大家介绍的是什么是爬虫，还有爬虫的发展史。了解爬虫和他的发展史，Nenggeng好地Zuo好SEO技术哦！欢迎广大朋友们继续关注互联网那些事，我们会继续分享SEO技术和其他一些信息哦！ 我懵了。 北京网站建设创新互联有8年的网站建设经验， geng重要的是他们站在用户的角度设计网站，让大多数人douNeng用得舒服，提升用户体验哦！

三、世界上有名的爬虫

爬虫的发展史要从超有名的爬虫讲起。下面给大家介绍一下世界上有名的爬虫。爬虫，简称就是那种自动抓取网页信息的机器人。世界上有名的爬虫是麻省理工学院的学生马休·格雷在1993年编写的， 优化一下。 起名叫“万维网漫步者”。虽然它本来不是为了Zuo搜索引擎而编写的， 但是这个了不起的创新，为以后的搜索引擎发展和今天的广泛应用打下了坚实的基础。

四、 爬虫的作用

搜索引擎原理中说爬虫也叫Zuo“Wanderers”或者“Robots”，我们常说的百度爬虫，经常用“Robots”这个名字。它是一组运行在计算机上的程序，在搜索引擎里面负责抓取新的、公共可访问的web网页、图片和文档等资源。这个过程就是下载一个网页，分析其中的链接，然后跑到其他链接指向的网页，就这样来回跑。

网络爬虫就是那种互联机器人，它机语言编写的程序或脚本， 没眼看。 用于动态从Internet上获取任何信息......