解决Python爬虫在爬资源过程中使用urlretrieve函数下载文件不完全且避免下载时长过长陷入死循环,并在下载文件的过程中显示下载进度
本文作者:StubbornHuang
版权声明:本文为站长原创文章,如果转载请注明原文链接!
原文标题:解决Python爬虫在爬资源过程中使用urlretrieve函数下载文件不完全且避免下载时长过长陷入死循环,并在下载文件的过程中显示下载进度
原文链接:https://www.stubbornhuang.com/33/
发布于:2019年10月24日 22:31:00
修改于:2019年11月14日 22:55:01
import urllib
from urllib.request import urlretrieve
#解决urlretrieve下载文件不完全的问题且避免下载时长过长陷入死循环
def auto_down(url,filename):
try:
urlretrieve(url,filename,jindu)
except socket.timeout:
count = 1
while count <= 15:
try:
urlretrieve(url, filename,jindu)
break
except socket.timeout:
err_info = 'Reloading for %d time' % count if count == 1 else 'Reloading for %d times' % count
print(err_info)
count += 1
if count > 15:
print("下载失败")
#urlretrieve()的回调函数,显示当前的下载进度
#a为已经下载的数据块
#b为数据块大小
#c为远程文件的大小
global myper
def jindu(a,b,c):
if not a:
print("连接打开")
if c<0:
print("要下载的文件大小为0")
else:
global myper
per=100*a*b/c
if per>100:
per=100
myper=per
print("当前下载进度为:" + '%.2f%%' % per)
if per==100:
return True
当前分类随机文章推荐
- 简单粗暴:使用pycharm安装对应的Python版本第三方包 阅读3666次,点赞0次
- Python - 使用代码判断当前Python版本号 阅读379次,点赞0次
- Python - 使用python-opencv裁剪原视频为与视频高同宽的视频 阅读1558次,点赞0次
- Python - ModuleNotFoundError: No module named 'skimage' 阅读323次,点赞0次
- Python - 使用ffmepg批量转换某个文件夹以及所有子文件夹下所有的视频,修改其帧率/码率/分辨率到另一文件夹,并保留原有文件夹结构 阅读2784次,点赞0次
- Python - 获取当前时间字符串 阅读1031次,点赞0次
- Python - 列表list遍历方法总结 阅读504次,点赞0次
- Python - 写爬虫时需要用到那些第三方库 阅读457次,点赞0次
- Python3爬虫 - requests的请求响应状态码(requests.status_code) 阅读9186次,点赞4次
- Python - 使用Opencv-Python库获取本机摄像头视频并保存为视频文件 阅读2630次,点赞0次
全站随机文章推荐
- 资源分享 – OpenGL SuperBible – Comprehensive Tutorial and Reference (Seventh Edition) OpenGL蓝宝书第7版英文高清PDF下载 阅读2523次,点赞2次
- TensorRT - 自带工具trtexec的参数使用说明 阅读4467次,点赞0次
- Mediapipe - 使用Mediapipe Holistic识别身体、手、面部全身关节点 阅读6123次,点赞3次
- WordPress - 应对暴力破解登录和规避DDOS的几种方法 阅读2311次,点赞0次
- OpenCV - 将图片/视频转换为深度学习模型输入格式,BGR通道转RGB,图片归一化,HWC转CHW 阅读4388次,点赞0次
- Pytorch - torch.nn.Conv2d参数详解与使用 阅读465次,点赞0次
- C++ - 动态链接库dll为什么要使用unsigned char作为byte的内部格式 阅读713次,点赞0次
- 资源分享 - Digital Character Development - Theory and Practice , Second Edition 英文高清PDF下载 阅读1456次,点赞0次
- 资源分享 - Microsoft Voxelized Upper Bodies – A Voxelized Point Cloud Dataset下载 阅读2828次,点赞0次
- 常用的三维图形库以及软件所使用的坐标系以及旋转正方向 阅读3401次,点赞0次
评论
169