如何使用Python一步完成动态数据的爬取

今天就跟大家聊聊有关如何使用Python一步完成动态数据的爬取，可能很多人都不太了解，为了让大家更加了解，小编给大家总结了以下内容，希望大家根据这篇文章可以有所收获。

前言

最近又到了写毕业论文的季节了，有好多粉丝朋友私信我说老哥能不能帮我爬点数据让我来写论文，这时正好有位小女生正在打算买只小喵咪，于是老哥在全网搜索于是发现了下面的网站只好动动自己的小手，来完成这个艰巨的任务了，有喜欢爬虫的同学，或有需要爬取数据的同学可以私聊老哥。

页面分析

我们通过访问一下地址 ：http://www.maomijiaoyi.com/index.php?/chanpinliebiao_pinzhong_38.html
这时我们可以看到一些喵咪的列表，但是通过F12观看实际是返回的一个页面，而不是我们常用的Json，此时我们还需要将返回的页面打开才能获取到具体喵咪的详细信息，例如：价格、电话、年龄、品种、浏览次数等等。

这时我们需要做的

1. 解析返回的列表

2. 将地区数据解析出来

3. 请求喵咪的具体信息

4. 解析返回的页面

5. 将数据保存csv文件

CSV 文件

启动程序将会保存一下内容：

代码实现

1、导入依赖环境

`import requests # 返送请求 pip install requests` `import parsel # html页面解析器 pip install  parsel` `import  csv # 文本保存`

2、获取喵咪的列表

`url = "http://www.maomijiaoyi.com/index.php?/chanpinliebiao_pinzhong_37_"+str(i)+"--24.html"` `headers = {` `'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.72 Safari/537.36'` `}` `data = requests.get(url=url, headers=headers).text` `selector = parsel.Selector(data)` `urls = selector.css('div .content:nth-child(1) a::attr(href)').getall()`

3、根据去获取喵咪的具体数据

 `for s in regionAndURL:` `url = "http://www.maomijiaoyi.com" + s[0]` `address = s[1]` `data = requests.get(url=url, headers=headers).text` `selector = parsel.Selector(data)` `title = selector.css('.detail_text .title::text').get().strip()  ## 标签` `price = selector.css('.info1 span:nth-child(2)::text').get().strip()  ## 价格` `viewsNum = selector.css('.info1 span:nth-child(4)::text  ').get()  ## 浏览次数` `commitment = selector.css('.info1 div:nth-child(2) span::text  ').get().replace("卖家承诺: ", "")  # 卖家承诺` `onlineOnly = selector.css('.info2 div:nth-child(1) .red::text  ').get()  # 在售只数` `variety = selector.css('.info2 div:nth-child(3) .red::text  ').get()  # 品种` `prevention = selector.css('.info2 div:nth-child(4) .red::text  ').get()  # 预防` `contactPerson = selector.css('.user_info div:nth-child(1) .c333::text  ').get()  # 联系人姓名` `phone = selector.css('.user_info div:nth-child(2) .c333::text  ').get()  ## 电话` `shipping = selector.css('.user_info div:nth-child(3) .c333::text  ').get().strip()  # 运费` `purebred = selector.css('.item_neirong div:nth-child(1) .c333::text').get().strip()  # 是否纯种` `quantityForSale = selector.css('.item_neirong div:nth-child(3) .c333::text').get().strip()  # 待售数量` `catSex = selector.css('.item_neirong div:nth-child(4) .c333::text').get().strip()  # 猫咪性别` `catAge = selector.css('div.xinxi_neirong .item:nth-child(2)  div:nth-child(2) .c333::text').get().strip()  # 猫咪年龄` `dewormingSituation = selector.css(` `'div.xinxi_neirong .item:nth-child(2)  div:nth-child(3) .c333::text').get().strip()  # 驱虫情况` `canWatchCatsInVideo = selector.css(` `'div.xinxi_neirong .item:nth-child(2)  div:nth-child(4) .c333::text').get().strip()  # 可视频看猫咪`

4、将数据保存为csv文件

`f = open('喵咪.csv', mode='a', encoding='utf-8', newline='')``csvHeader = csv.DictWriter(f,` `fieldnames=['地区', '标签', '价格', '浏览次数', '卖家承诺', '在售只数', '地区', '品种', '预防', '联系人姓名', '电话',` `'运费', '是否纯种', '待售数量', '猫咪性别', '猫咪年龄', '驱虫情况', '可视频看猫咪', '详情地址'])``#设置头``csvHeader.writeheader()` `dis = {` `'地区': address,` `'标签': title,` `'价格': price,` `'浏览次数': viewsNum,` `'卖家承诺': commitment,` `'在售只数': onlineOnly,` `'品种': variety,` `'预防': prevention,` `'联系人姓名': contactPerson,` `'电话': phone,` `'运费': shipping,` `'是否纯种': purebred,` `'待售数量': quantityForSale,` `'猫咪性别': catSex,` `'猫咪年龄': catAge,` `'驱虫情况': dewormingSituation,` `'可视频看猫咪': canWatchCatsInVideo,` `'详情地址': url` `}` `csvHeader.writerow(dis)`

看完上述内容，你们对如何使用Python一步完成动态数据的爬取有进一步的了解吗？如果还想了解更多知识或者相关内容，请关注行业资讯频道，感谢大家的支持。