|||
第一个实现网络爬行功能的网络爬虫Wanderer(World Wide Web Wanderer)诞生于1993年,由Matthew Gray在MIT博士期间用Perl语言实现,本意是用来度量当时的互联网大小,并不是用来为搜索引擎服务的,也未公开发布。Matthew Gray后来成了Google的工程师。
第一个公开发布的爬虫RBSE诞生于1994年,由两部分组成:负责抓取网页的“spider”和文本浏览器“mite”。
第一个应用于搜索引擎的爬虫WebCrawler诞生于1994年,由Brian Pinkerton完成,这只爬虫起初只是桌面程序的一部分,后来发展到web,也就成了公开的搜索引擎的蜘蛛了。
参考资料:
http://en.wikipedia.org/wiki/World_Wide_Web_Wanderer
http://www.mit.edu/~mkgray/net/background.html
http://en.wikipedia.org/wiki/Web_crawler
Archiver|手机版|科学网 ( 京ICP备07017567号-12 )
GMT+8, 2024-9-21 10:41
Powered by ScienceNet.cn
Copyright © 2007- 中国科学报社