第一个实现网络爬行功能的网络爬虫Wanderer（World Wide Web Wanderer）诞生于1993年，由Matthew Gray在MIT博士期间用Perl语言实现，本意是用来度量当时的互联网大小，并不是用来为搜索引擎服务的，也未公开发布。Matthew Gray后来成了Google的工程师。

第一个公开发布的爬虫RBSE诞生于1994年，由两部分组成：负责抓取网页的“spider”和文本浏览器“mite”。

第一个应用于搜索引擎的爬虫WebCrawler诞生于1994年，由Brian Pinkerton完成，这只爬虫起初只是桌面程序的一部分，后来发展到web，也就成了公开的搜索引擎的蜘蛛了。

 

参考资料：

http://en.wikipedia.org/wiki/World_Wide_Web_Wanderer

http://www.mit.edu/~mkgray/net/background.html

http://en.wikipedia.org/wiki/Web_crawler

转载本文请联系原作者获取授权，同时请注明本文来自刘洋科学网博客。
链接地址：https://blog.sciencenet.cn/blog-1750-366090.html

上一篇：猫薄荷、一个偏方与诱杀病毒
下一篇：什么是暗网