python下载文件的三种形式介绍
这篇文章主要讲解了"python下载文件的三种形式介绍",文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着小编的思路慢慢深入,一起来研究和学习"python下载文件的三种形式介绍"吧!
按照不同的情况,python下载文件可以分为三种:
小文件下载
大文件下载
批量下载
python 小文件下载
流程:使用request.get请求链接,返回的内容放置到变量r中,然后将r写入到你想放的地方。
Python小文件下载流程
以下载上述流程图文件为例子:
Python文件下载
运行完毕后,它将会被保存到当前文件夹的new文件夹里。
python 大文件下载
我们在小文件下载的时候,是将文件内容暂存到变量里,大家想想,下载大文件的时候还这样做会有什么问题?很简单,如果你的内存只有8G,结果要下载文件却有10G那么大,那就肯定无法下载成功了。而且本机软件运行占的内存也比较大,如果你的内存只有8G,实际上剩余可用的内存可能低于2G-4G. 这种情况下怎么下载大文件呢?
流式分块下载
原理:一块一块地将内存写入到文件中,以避免内存占用过大。
Python大文件下载流程
当设置了request.get(stream=True)的时候,就是启动流模式下载,典型特征:在r变量的content被调用的时候才会启动下载。代码如下:
python大文件下载
Python 批量文件下载
所谓批量下载,当然不是一个一个文件的下载了,比如说我们要下载百度图片,如果一个一个下载会出现两种负面情况:
如果某个请求堵塞,整个队列都会被堵塞
如果是小文件,单线程下载太慢
我们的解决方案是使用异步策略。如果你会用scrapy框架,那就轻松许多了,因为它结合了twisted异步驱动架构,根本不需要你自己写异步。不过我们python实用宝典讲的可是教程,还是跟大家说一下怎么实现异步下载:
我们需要使用到两个包,一个是asyncio、一个是aiohttp. asyncio是Python3的原装库,但是aiohttp则需要各位使用cmd/Terminal打开,输入以下命令安装:
pip install aiohttp
注意asyncio是单进程并发库,不是多线程,也不是多进程,单纯是在一个进程里面异步(切来切去运行),切换的地方用await标记,能够切换的函数用async标记。比如下载异步批量下载两个图片的代码如下:
Python异步批量下载
注意: img = await session.get(url)
这时候,在你请求第一个图片获得数据的时候,它会切换请求第二个图片或其他图片,等第一个图片获得所有数据后再切换回来。从而实现多线程批量下载的功能,速度超快,下载超清大图用这个方法可以一秒一张。
感谢各位的阅读,以上就是"python下载文件的三种形式介绍"的内容了,经过本文的学习后,相信大家对python下载文件的三种形式介绍这一问题有了更深刻的体会,具体使用情况还需要大家实践验证。这里是,小编将为大家推送更多相关知识点的文章,欢迎关注!