刘洋的博客分享 http://blog.sciencenet.cn/u/outcrop 管中窥豹,盲人摸象

博文

第一只网络爬虫

已有 4493 次阅读 2010-9-23 18:04 |个人分类:搜索引擎|系统分类:科研笔记|关键词:第一,网络爬虫| 第一, 网络爬虫

第一个实现网络爬行功能的网络爬虫Wanderer(World Wide Web Wanderer)诞生于1993年,由Matthew Gray在MIT博士期间用Perl语言实现,本意是用来度量当时的互联网大小,并不是用来为搜索引擎服务的,也未公开发布。Matthew Gray后来成了Google的工程师。

第一个公开发布的爬虫RBSE诞生于1994年,由两部分组成:负责抓取网页的“spider”和文本浏览器“mite”。

第一个应用于搜索引擎的爬虫WebCrawler诞生于1994年,由Brian Pinkerton完成,这只爬虫起初只是桌面程序的一部分,后来发展到web,也就成了公开的搜索引擎的蜘蛛了。

 

参考资料:

http://en.wikipedia.org/wiki/World_Wide_Web_Wanderer

http://www.mit.edu/~mkgray/net/background.html

http://en.wikipedia.org/wiki/Web_crawler




http://blog.sciencenet.cn/blog-1750-366090.html

上一篇:猫薄荷、一个偏方与诱杀病毒
下一篇:什么是暗网

0

发表评论 评论 (1 个评论)

数据加载中...
扫一扫,分享此博文

Archiver|手机版|科学网 ( 京ICP备14006957 )

GMT+8, 2020-1-22 10:27

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部