感谢大家访问本站，希望本站的内容可以帮助到大家！
计算机图形学与计算几何经典必备书单整理，下载链接可参考：https://www.stubbornhuang.com/1256/
如果觉得本站的内容有帮助，可以考虑打赏博主哦！
欢迎大家交换友链，可在https://www.stubbornhuang.com/申请友情链接进行友链交换申请！
问题反馈可发送邮件到stubbornhuang@qq.com
工资「喂饱肚子」，副业「养活灵魂」！
本站会放置Google广告用于维持域名以及网站服务器费用。
本站由于前段时间遭受到大量临时和国外邮箱注册，所以对可注册的邮箱类型进行了限制！
在本站开通年度VIP，无限制下载本站资源和阅读本站文章

解决Python爬虫在爬资源过程中使用urlretrieve函数下载文件不完全且避免下载时长过长陷入死循环，并在下载文件的过程中显示下载进度

StubbornHuang Python 发布于2019-10-24 阅读 7,807次 0次评论 0次点赞本文共610个字，阅读需要2分钟。

import urllib
from urllib.request import urlretrieve
#解决urlretrieve下载文件不完全的问题且避免下载时长过长陷入死循环
def auto_down(url,filename):
    try:
        urlretrieve(url,filename,jindu)
    except socket.timeout:
        count = 1
        while count <= 15:
            try:
                urlretrieve(url, filename,jindu)
                break
            except socket.timeout:
                err_info = 'Reloading for %d time' % count if count == 1 else 'Reloading for %d times' % count
                print(err_info)
                count += 1
        if count > 15:
            print("下载失败")

#urlretrieve()的回调函数，显示当前的下载进度
#a为已经下载的数据块
#b为数据块大小
#c为远程文件的大小
global myper
def jindu(a,b,c):
    if not a:
        print("连接打开")
    if c<0:
        print("要下载的文件大小为0")
    else:
        global myper
        per=100*a*b/c

        if per>100:
           per=100
        myper=per
        print("当前下载进度为：" + '%.2f%%' % per)
    if per==100:
            return True

欢迎扫码关注我的微信公众号，及时获取文章更新