Python如何爬取爱徒网素材下载链接
发表于:2024-09-27 作者:千家信息网编辑
千家信息网最后更新 2024年09月27日,Python如何爬取爱徒网素材下载链接,相信很多没有经验的人对此束手无策,为此本文总结了问题出现的原因和解决方法,通过这篇文章希望你能解决这个问题。前言平时都是直接爬取图片,但是有些时候只想要个别的图
千家信息网最后更新 2024年09月27日Python如何爬取爱徒网素材下载链接
Python如何爬取爱徒网素材下载链接,相信很多没有经验的人对此束手无策,为此本文总结了问题出现的原因和解决方法,通过这篇文章希望你能解决这个问题。
前言
平时都是直接爬取图片,但是有些时候只想要个别的图该怎么办呢?
项目目标
爬取爱徒网素材下载地址
通过点击素材进入素材详情页,可以看到本地下载地址,多复制几个素材的下载地址链接:
http://www.aiimg.com/sucai.php?open=1&aid=126632&uhash=70a6d2ffc358f79d9cf71392http://www.aiimg.com/sucai.php?open=1&aid=126630&uhash=99b07c347dc24533ccc1c144http://www.aiimg.com/sucai.php?open=1&aid=126634&uhash=d7e8f7f02f57568e280190b4
每个链接的aid不一样,这个应该就是素材的每个ID,后面的uhash又是什么呢
原本想着网页数据里面是否有接口数据可以直接找到这个参数,在开发者工具里面搜索并没有这个参数,看一下网页源代码里面是否有这个下载链接~
有这个链接的话,咱们获取链接之后就可以直接下载~
可以发现,咱们需要的数据都在网页的标签里面,请求网页获取返回数据
import requestsurl = 'http://www.aiimg.com/list.php?tid=1&ext=0&free=2&TotalResult=5853&PageNo=1'headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36'}response = requests.get(url=url, headers=headers)print(response.text)
解析爬取数据
import parselselector = parsel.Selector(response.text)lis = selector.css('.imglist_d ul li a::attr(href)').getall()for li in lis: num_id = li.replace('.html', '').split('/')[-1] new_url = 'http://www.aiimg.com/sucai.php?aid={}'.format(num_id) response_2 = requests.get(url=new_url, headers=headers) selector_2 = parsel.Selector(response_2.text) data_url = selector_2.css('.downlist a.down1::attr(href)').get() title = selector_2.css('.toart a::text').get() download_url = 'http://www.aiimg.com' + data_url
看完上述内容,你们掌握Python如何爬取爱徒网素材下载链接的方法了吗?如果还想学到更多技能或想了解更多相关内容,欢迎关注行业资讯频道,感谢各位的阅读!
素材
链接
数据
网页
爱徒
素材下载
地址
内容
参数
方法
更多
问题
束手无策
为此
前言
原因
原本
又是
图片
对此
数据库的安全要保护哪些东西
数据库安全各自的含义是什么
生产安全数据库录入
数据库的安全性及管理
数据库安全策略包含哪些
海淀数据库安全审计系统
建立农村房屋安全信息数据库
易用的数据库客户端支持安全管理
连接数据库失败ssl安全错误
数据库的锁怎样保障安全
软件开发阶段及产出
北京电信校招软件开发硕士待遇
数据库逻辑io多
谢江网络安全
e8-c 虚拟服务器
驻马店软件开发技巧
网络安全未来发展规定
当今计算机网络技术的发展
北京的平台软件开发公司
政府采购服务器
巨杉数据库有什么福利待遇
什么是专利文摘数据库
数据库查找不为0的值包括空值吗
db2查看所有连接到数据库
安卓数据库代码的实现
网络安全的编程多吗
软件开发 组织结构
软件开发招标网
我要看网络安全手抄报怎么画
方舟开服务器下载什么软件
服务器估价
注销苹果手机无法连接服务器
在netbar的数据库表
广东服务器续保维护
瑞庭网络技术无锡分公司面试
在云服务器上安装网心云
求生之路2联机什么服务器延迟低
关系数据库pg
380w服务器电源风扇维修
数据库技术知识网