千家信息网

python爬虫怎么实现下载豆瓣妹子图片

发表于:2024-11-14 作者:千家信息网编辑
千家信息网最后更新 2024年11月14日,这篇文章主要讲解了"python爬虫怎么实现下载豆瓣妹子图片",文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着小编的思路慢慢深入,一起来研究和学习"python爬虫怎么实现下载豆瓣妹子图片"吧
千家信息网最后更新 2024年11月14日python爬虫怎么实现下载豆瓣妹子图片

这篇文章主要讲解了"python爬虫怎么实现下载豆瓣妹子图片",文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着小编的思路慢慢深入,一起来研究和学习"python爬虫怎么实现下载豆瓣妹子图片"吧!

代码如下:

import requestsimport reimport timefrom bs4 import BeautifulSoup
cat ='2'img = 'http://www.dbmeinv.com/dbgroup/show.htm?cid='+ catend = '/dbgroup/show.htm?cid='+ cat + '&pager_offset=100'urls = [ ]def getURLs(mainURL): time.sleep(1) headers = {'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/47.0.2526.80 Safari/537.36'} html = requests.get(mainURL).text soup = BeautifulSoup(html, 'html.parser') picURL = re.findall(' for url in picURL: urls.append(url) print(url) asoup = soup.select('.next a')[0]['href'] Next_page = 'http://www.dbmeinv.com' + asoup if asoup != end: getURLs(Next_page) else: print('链接已处理完毕!') return urlsurl = getURLs(img)
i = 0for each in url: pic = requests.get(each, timeout = 10) picName = 'pictures/' + str(i) + '.jpg' fp = open(picName, 'wb') fp.write(pic.content) fp.close() i += 1
print('图片下载完成')

感谢各位的阅读,以上就是"python爬虫怎么实现下载豆瓣妹子图片"的内容了,经过本文的学习后,相信大家对python爬虫怎么实现下载豆瓣妹子图片这一问题有了更深刻的体会,具体使用情况还需要大家实践验证。这里是,小编将为大家推送更多相关知识点的文章,欢迎关注!

0