Python怎么爬取网站音乐素材
发表于:2024-10-17 作者:千家信息网编辑
千家信息网最后更新 2024年10月17日,本篇内容主要讲解"Python怎么爬取网站音乐素材",感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷,实用性强。下面就让小编来带大家学习"Python怎么爬取网站音乐素材"吧!前言基本开发环境Py
千家信息网最后更新 2024年10月17日Python怎么爬取网站音乐素材
本篇内容主要讲解"Python怎么爬取网站音乐素材",感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷,实用性强。下面就让小编来带大家学习"Python怎么爬取网站音乐素材"吧!
前言
基本开发环境
Python 3.6
Pycharm
相关模块的使用
import osimport concurrent.futuresimport requestsimport parsel
安装Python并添加到环境变量,pip安装需要的相关模块即可。
一、确定需求
如果想要验证这个链接是否是音频的真实下载地址,可以复制链接粘贴到新的窗口中。
https://downsc.chinaz.net/Files/DownLoad/sound1/202102/s830.mp3
老思路了,复制链接中的某些参数在开发者工具中进行搜索,很明显 s830 就是音频的ID了。
搜索 s830 找到来源,发现网页页面中自带有下载地址。获取音频下载地址之后需要自己拼接url。
网页数据不复杂,相对而言还是比较简单的。
1、请求当前网页数据,获取音频地址以及音频标题
2、保存下载就可以了
三、代码实现
获取音频ID以及音频标题
def main(html_url): html_data = get_response(html_url).text selector = parsel.Selector(html_data) lis = selector.css('#AudioList .container .audio-item') for li in lis: name = li.css('.name::text').get().strip() src = li.css('audio::attr(src)').get() audio_url = 'https:' + src save(name, audio_url) print(name, audio_url)
保存数据
def save(name, audio_url): header = { 'Upgrade-Insecure-Requests': '1', 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36' } audio_content = requests.get(url=audio_url, headers=header).content path = 'audio\\' if not os.path.exists(path): os.mkdir(path) with open(path + name + '.mp3', mode='wb') as f: f.write(audio_content)
这里想要重新给一个headers参数,不然会下载不了。代码会一直运行,但是没有反应
多线程爬取
if __name__ == '__main__': executor = concurrent.futures.ThreadPoolExecutor(max_workers=5) for page in range(1, 31): url = f'https://sc.chinaz.com/yinxiao/index_{page}.html' # main(url) executor.submit(main, url)
到此,相信大家对"Python怎么爬取网站音乐素材"有了更深的了解,不妨来实际操作一番吧!这里是网站,更多相关内容可以进入相关频道进行查询,关注我们,继续学习!
音频
网站
地址
素材
音乐
数据
网页
链接
代码
内容
参数
标题
模块
环境
学习
开发
搜索
复杂
实用
明显
数据库的安全要保护哪些东西
数据库安全各自的含义是什么
生产安全数据库录入
数据库的安全性及管理
数据库安全策略包含哪些
海淀数据库安全审计系统
建立农村房屋安全信息数据库
易用的数据库客户端支持安全管理
连接数据库失败ssl安全错误
数据库的锁怎样保障安全
企业网络安全的意义 为什么
我的世界租赁服务器管理员权限
中科院软件开发项目
网络安全周ppt
福州机电学校计算机网络技术
dayz服务器ip
网络技术专科生可以考研吗
放心的优质软件开发
山东服务器回收平台云空间
深圳博远互联网络科技有限公司
征途怀旧版数据库
邢台网络技术价目表
明明有网老是无法连接服务器
新中大G3数据库版本号
数据库有哪几种
网络安全的软件系统
软件开发创新创业实训心得
网络安全宣传周小册子
学雅思用哪个软件开发
法国软件开发工程师
网络安全领域学位
GTA5樱桃辅助链接不上服务器
王者荣耀转服务器在哪申请
对网络安全的加强
网络安全培训学院
顺网服务器网咖设置
网络服务器显示密码过期
佛山通信软件开发商家
会议管理器服务器mcu
管家婆数据库不能开启