|||
通过requests模块设置 header range参数将文件分段下载,同时结合python threading的多线程可以大大提高下载速度,例如通过3线程和2线程的下载时间相差约2.3秒左右。
但是当提高线程数时,容易出现崩溃问题:
程序贴出来:
Ipython直接崩溃 掉
##########################
原因:
当不同线程同时调用一个变量的时候,线程堵塞。
解决方法:
采用线程锁:
Archiver|手机版|科学网 ( 京ICP备07017567号-12 )
GMT+8, 2024-11-23 08:34
Powered by ScienceNet.cn
Copyright © 2007- 中国科学报社