q363657448的个人博客分享 http://blog.sciencenet.cn/u/q363657448

博文

go语言实现爬虫(爬图片)步骤

已有 820 次阅读 2019-6-23 22:25 |系统分类:科研笔记

使用Go语言实现图片的爬取

具体步骤如下:

1、初始化通道

    chanImgUrls = make(chan string, n) 其中n代表容量,这个尽量大,因为图片的数量较多。

    chanTask = make(chan string, m) 其中m可以设置成页面的个数

2、爬虫协程(具体看网页有多少个页面),使用n个协程进行爬虫(n为页面的个数)

    爬虫协程主要有三个步骤

    2.1 爬取页面所有的内容。

    2.2 根据上一步爬取的内容,通过正则把当前页面所有的图片链接取出。

    2.3 将所有的图片链接存入上述通道中(chanImgUrls)以等待提取。

3、任务统计协程(统计爬虫协程完成的个数,统计完毕以后关闭爬虫协程)

4、下载图片协程


以上是近期学习到的Go语言实现爬取网页所有图片。

附:学习Go语言的一个原因是深入了解区块链的知识。



http://blog.sciencenet.cn/blog-3410412-1186531.html

上一篇:以太坊部署和运行智能合约的步骤
下一篇:ubuntn实现区块链DAPP

0

该博文允许注册用户评论 请点击登录 评论 (0 个评论)

数据加载中...
扫一扫,分享此博文

全部作者的精选博文

Archiver|手机版|科学网 ( 京ICP备14006957 )

GMT+8, 2019-11-16 04:41

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部