如何使用python爬取天气数据
发表于:2024-11-25 作者:千家信息网编辑
千家信息网最后更新 2024年11月25日,小编给大家分享一下如何使用python爬取天气数据,相信大部分人都还不怎么了解,因此分享这篇文章给大家参考一下,希望大家阅读完这篇文章后大有收获,下面让我们一起去了解一下吧!前言每天一个爬虫练习,爬个
千家信息网最后更新 2024年11月25日如何使用python爬取天气数据
小编给大家分享一下如何使用python爬取天气数据,相信大部分人都还不怎么了解,因此分享这篇文章给大家参考一下,希望大家阅读完这篇文章后大有收获,下面让我们一起去了解一下吧!
前言
每天一个爬虫练习,爬个比较简单的网站
import requestsfrom bs4 import BeautifulSoupimport pandas as pdimport timedef get_data(url): resp = requests.get(url) html = resp.content.decode('gbk') soup = BeautifulSoup(html, 'html.parser') tr_list = soup.find_all('tr') dates, conditions, tempmin, tempmax = [], [], [], [] for data in tr_list[1:]: sub_data = data.text.split() dates.append(sub_data[0]) conditions.append(''.join(sub_data[1:3])) tempmax.append(sub_data[3]) tempmin.append(sub_data[5]) _data = pd.DataFrame() _data["日期"] = dates _data['天气状况'] = conditions _data['最高气温'] = tempmax _data['最低气温'] = tempmin return _data#data_1_month = get_data('此处为任一月份数据的网址') 使用时只需修改此处,具体示例如下print('正在抓取1月份数据')data_1_month = get_data('http://www.tianqihoubao.com/lishi/huichang/month/201101.html')print('正在抓取2月份数据')data_2_month = get_data('http://www.tianqihoubao.com/lishi/huichang/month/201102.html')print('正在抓取3月份数据')data_3_month = get_data('http://www.tianqihoubao.com/lishi/huichang/month/201103.html')print('正在抓取4月份数据')data_4_month = get_data('http://www.tianqihoubao.com/lishi/huichang/month/201104.html')print('正在抓取5月份数据')data_5_month = get_data('http://www.tianqihoubao.com/lishi/huichang/month/201105.html')print('正在抓取6月份数据')data_6_month = get_data('http://www.tianqihoubao.com/lishi/huichang/month/201106.html')print('正在抓取7月份数据')data_7_month = get_data('http://www.tianqihoubao.com/lishi/huichang/month/201107.html')print('正在抓取8月份数据')data_8_month = get_data('http://www.tianqihoubao.com/lishi/huichang/month/201108.html')print('正在抓取9月份数据')data_9_month = get_data('http://www.tianqihoubao.com/lishi/huichang/month/201109.html')print('正在抓取10月份数据')data_10_month = get_data('http://www.tianqihoubao.com/lishi/huichang/month/201110.html')print('正在抓取11月份数据')data_11_month = get_data('http://www.tianqihoubao.com/lishi/huichang/month/201111.html')print('正在抓取12月份数据')data_12_month = get_data('http://www.tianqihoubao.com/lishi/huichang/month/201112.html')print('数据抓取成功!正在整合该年数据,请稍后......')time.sleep(3)data = pd.concat([data_1_month, data_2_month, data_3_month, data_4_month, data_5_month, data_6_month, data_7_month, data_8_month, data_9_month, data_10_month, data_11_month, data_12_month]).reset_index(drop=True)print(data)print('数据整合完毕!')#数据爬取结果会保存在此代码同一径下
以上是"如何使用python爬取天气数据"这篇文章的所有内容,感谢各位的阅读!相信大家都有了一定的了解,希望分享的内容对大家有所帮助,如果还想学习更多知识,欢迎关注行业资讯频道!
数据
月份
正在
天气
篇文章
内容
气温
整合
最低
最高
成功
不怎么
代码
前言
只需
大部分
日期
更多
爬虫
状况
数据库的安全要保护哪些东西
数据库安全各自的含义是什么
生产安全数据库录入
数据库的安全性及管理
数据库安全策略包含哪些
海淀数据库安全审计系统
建立农村房屋安全信息数据库
易用的数据库客户端支持安全管理
连接数据库失败ssl安全错误
数据库的锁怎样保障安全
招固晶软件开发工程师
中专读网络技术好吗
微软安全服务器
网络安全问题讨论提纲
南开网考网络技术与应用考试
移动网络技术服务哪里好
软件开发公司是需要保密吗
网络安全英语资料
.com服务器
俄文特色数据库
dns服务器区分安全
塔城软件开发规范
sql 修改数据库
谷歌服务器怎么关闭安全模式
徽商信息科技和软件开发
网络安全名词解释常见
麦子服务器火车
工业互联网网络安全龙头股
税务系统网络安全意义
宣传服务器多少钱
erp软件开发源代码
为网络安全提建议的英语作文
轻型服务器备案
局域网三种网络技术
数据库系统 特点
手游云顶之弈欧洲服务器的英文
滨江区游戏服务器回收
浙江gps时间服务器ip地址
网络安全资源网盘
服务器设置启动项