如何使用python爬取天气数据
发表于:2025-02-03 作者:千家信息网编辑
千家信息网最后更新 2025年02月03日,小编给大家分享一下如何使用python爬取天气数据,相信大部分人都还不怎么了解,因此分享这篇文章给大家参考一下,希望大家阅读完这篇文章后大有收获,下面让我们一起去了解一下吧!前言每天一个爬虫练习,爬个
千家信息网最后更新 2025年02月03日如何使用python爬取天气数据
小编给大家分享一下如何使用python爬取天气数据,相信大部分人都还不怎么了解,因此分享这篇文章给大家参考一下,希望大家阅读完这篇文章后大有收获,下面让我们一起去了解一下吧!
前言
每天一个爬虫练习,爬个比较简单的网站
import requestsfrom bs4 import BeautifulSoupimport pandas as pdimport timedef get_data(url): resp = requests.get(url) html = resp.content.decode('gbk') soup = BeautifulSoup(html, 'html.parser') tr_list = soup.find_all('tr') dates, conditions, tempmin, tempmax = [], [], [], [] for data in tr_list[1:]: sub_data = data.text.split() dates.append(sub_data[0]) conditions.append(''.join(sub_data[1:3])) tempmax.append(sub_data[3]) tempmin.append(sub_data[5]) _data = pd.DataFrame() _data["日期"] = dates _data['天气状况'] = conditions _data['最高气温'] = tempmax _data['最低气温'] = tempmin return _data#data_1_month = get_data('此处为任一月份数据的网址') 使用时只需修改此处,具体示例如下print('正在抓取1月份数据')data_1_month = get_data('http://www.tianqihoubao.com/lishi/huichang/month/201101.html')print('正在抓取2月份数据')data_2_month = get_data('http://www.tianqihoubao.com/lishi/huichang/month/201102.html')print('正在抓取3月份数据')data_3_month = get_data('http://www.tianqihoubao.com/lishi/huichang/month/201103.html')print('正在抓取4月份数据')data_4_month = get_data('http://www.tianqihoubao.com/lishi/huichang/month/201104.html')print('正在抓取5月份数据')data_5_month = get_data('http://www.tianqihoubao.com/lishi/huichang/month/201105.html')print('正在抓取6月份数据')data_6_month = get_data('http://www.tianqihoubao.com/lishi/huichang/month/201106.html')print('正在抓取7月份数据')data_7_month = get_data('http://www.tianqihoubao.com/lishi/huichang/month/201107.html')print('正在抓取8月份数据')data_8_month = get_data('http://www.tianqihoubao.com/lishi/huichang/month/201108.html')print('正在抓取9月份数据')data_9_month = get_data('http://www.tianqihoubao.com/lishi/huichang/month/201109.html')print('正在抓取10月份数据')data_10_month = get_data('http://www.tianqihoubao.com/lishi/huichang/month/201110.html')print('正在抓取11月份数据')data_11_month = get_data('http://www.tianqihoubao.com/lishi/huichang/month/201111.html')print('正在抓取12月份数据')data_12_month = get_data('http://www.tianqihoubao.com/lishi/huichang/month/201112.html')print('数据抓取成功!正在整合该年数据,请稍后......')time.sleep(3)data = pd.concat([data_1_month, data_2_month, data_3_month, data_4_month, data_5_month, data_6_month, data_7_month, data_8_month, data_9_month, data_10_month, data_11_month, data_12_month]).reset_index(drop=True)print(data)print('数据整合完毕!')#数据爬取结果会保存在此代码同一径下
以上是"如何使用python爬取天气数据"这篇文章的所有内容,感谢各位的阅读!相信大家都有了一定的了解,希望分享的内容对大家有所帮助,如果还想学习更多知识,欢迎关注行业资讯频道!
数据
月份
正在
天气
篇文章
内容
气温
整合
最低
最高
成功
不怎么
代码
前言
只需
大部分
日期
更多
爬虫
状况
数据库的安全要保护哪些东西
数据库安全各自的含义是什么
生产安全数据库录入
数据库的安全性及管理
数据库安全策略包含哪些
海淀数据库安全审计系统
建立农村房屋安全信息数据库
易用的数据库客户端支持安全管理
连接数据库失败ssl安全错误
数据库的锁怎样保障安全
加拿大的网络安全吗
企业网络安全现状调查问卷
网警如何检测网络安全
初中生网络安全教育培训内容
明日之后阿尔亚湖服务器大全
龙卷风收音 数据库
游戏设计小软件开发
关闭数据库对象的英文
软件开发管理相关软件
linux服务器创建虚拟环境
软件开发可以做一辈子吗
软件开发的测试和评价技术
自学计算机网络安全技术教材
将数据库加载至内存
湖南蓝牙软件开发价格
破解服务器验证
应用服务器映射公网
dns服务器租用
小鸟云免费服务器
网络技术应用选修三 书本
接口测试输入负数服务器怎么处理
雷克萨斯网络安全
微信网络安全主题
踩高跷视频软件开发
网络技术工程师好处
手机软件与云服务器对接
河南储存服务器云空间
和彩云服务器拒绝执行用户请求
互联网与科技的区别
网络技术与梦想