Python爬虫爬取斗图吧的源码怎么编写
发表于:2024-09-22 作者:千家信息网编辑
千家信息网最后更新 2024年09月22日,这期内容当中小编将会给大家带来有关Python爬虫爬取斗图吧的源码怎么编写,文章内容丰富且以专业的角度为大家分析和叙述,阅读完这篇文章希望大家可以有所收获。你还在为没有表情包而在网上四处搜索寻找吗?今
千家信息网最后更新 2024年09月22日Python爬虫爬取斗图吧的源码怎么编写
这期内容当中小编将会给大家带来有关Python爬虫爬取斗图吧的源码怎么编写,文章内容丰富且以专业的角度为大家分析和叙述,阅读完这篇文章希望大家可以有所收获。
你还在为没有表情包而在网上四处搜索寻找吗?今天来利用python来获得我们想要的表情包。
项目源码
from pyquery import PyQuery as pq
import requests
from redis import StrictRedis
o=0
headers={
'user-agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36 SE 2.X MetaSr 1.0'
}
def xpan(canshu):
try:
url = 'https://www.doutula.com/photo/list/?page=' + str(canshu)
sp = requests.get(url, headers=headers).text
doc=pq(sp)
item=doc('.col-xs-6 img').items()
for i in item:
cu=i.attr('data-original')
#r(cu,'F:/斗图的/%s.jpg'%u)
# u+=1
#print('当前已保存%d张'%u)
#print(cu)
redis = StrictRedis(host='172.18.200.5', port=6379, db=1, password='')
redis.sadd('斗图网下载图片的URL', cu)
except Exception as e:
print('出现错误',e.args)
a=int(input('请问你需要爬取多少页呢:'))
print('正在爬取链接并保存到redis数据库中请稍等........')
for i in range(a):
xpan(i+1)
redis = StrictRedis(host='172.18.200.5', port=6379, db=1, password='')
redis.srem('斗图网下载图片的URL','None')
for i in redis.smembers('斗图网下载图片的URL'):
t=str(i,encoding='utf8')
#print(t)
r=t.split('/')[-1]
dizhi='F:/斗图/'+r
req=requests.get(t)
with open(dizhi,'wb')as p:
p.write(req.content)
print('保存完毕 已保存了%d张'%o)
o+=1
上述就是小编为大家分享的Python爬虫爬取斗图吧的源码怎么编写了,如果刚好有类似的疑惑,不妨参照上述分析进行理解。如果想知道更多相关知识,欢迎关注行业资讯频道。
源码
图片
图吧
爬虫
内容
表情
分析
专业
中小
内容丰富
就是
数据
数据库
文章
更多
正在
知识
篇文章
行业
角度
数据库的安全要保护哪些东西
数据库安全各自的含义是什么
生产安全数据库录入
数据库的安全性及管理
数据库安全策略包含哪些
海淀数据库安全审计系统
建立农村房屋安全信息数据库
易用的数据库客户端支持安全管理
连接数据库失败ssl安全错误
数据库的锁怎样保障安全
域名服务器是否使用ipv6
漳州服务器
服务器根目录管理
it数据库都是什么
棋牌软件开发专业
服务器无法访问排查思路
kd设计软件开发
网络安全检测市场规模
网络安全靠人民用英语怎么说
家里电脑怎么访问公司服务器
海康威视管理服务器忘记密码
高防御bgp服务器
c 控件 数据库绑定
万方数据库哪里可以查询
服务器上如何查看数据库
在农村怎么自己做一个服务器
服务器内存哪个牌子性价比最高
双兔网络技术(上海)有限公司
数据库系统的核心任务
济南科创互联网络科技怎么样
网络技术应用服务器
网络安全模式下修复电脑
软件开发人员的kpi考核
金蝶帐套名字数据库表
软件开发目标群体有哪些
服务器是不是只吃网速
网络技术和软件技术难度
数据库教学课程设计
面试数据库优化
网络安全密钥不匹配怎么办6