python如何爬取二手房的数据
发表于:2024-09-22 作者:千家信息网编辑
千家信息网最后更新 2024年09月22日,这篇文章给大家分享的是有关python如何爬取二手房的数据的内容。小编觉得挺实用的,因此分享给大家做个参考,一起跟随小编过来看看吧。一、查找数据所在位置:打开链家官网,进入二手房页面,选取某个城市,可
千家信息网最后更新 2024年09月22日python如何爬取二手房的数据一、查找数据所在位置:
二、确定数据存放位置:
三、获取html数据:
四、解析html,提取有用数据:
这篇文章给大家分享的是有关python如何爬取二手房的数据的内容。小编觉得挺实用的,因此分享给大家做个参考,一起跟随小编过来看看吧。
一、查找数据所在位置:
打开链家官网,进入二手房页面,选取某个城市,可以看到该城市房源总数以及房源列表数据。
二、确定数据存放位置:
某些网站的数据是存放在html中,而有些却api接口,甚至有些加密在js中,还好链家的房源数据是存放到html中:
三、获取html数据:
通过requests请求页面,获取每页的html数据
# 爬取的url,默认爬取的南京的链家房产信息url = 'https://nj.***.com/ershoufang/pg{}/'.format(page)# 请求urlresp = requests.get(url, headers=headers, timeout=10)
代码中的网站非真真实网址,不可直接运行!
四、解析html,提取有用数据:
通过BeautifulSoup解析html,并提取相应有用的数据
soup = BeautifulSoup(resp.content, 'lxml')# 筛选全部的li标签sellListContent = soup.select('.sellListContent li.LOGCLICKDATA')# 循环遍历for sell in sellListContent: # 标题 title = sell.select('div.title a')[0].string # 先抓取全部的div信息,再针对每一条进行提取 houseInfo = list(sell.select('div.houseInfo')[0].stripped_strings) # 楼盘名字 loupan = houseInfo[0] # 对楼盘的信息进行分割 info = houseInfo[0].split('|') # 房子类型 house_type = info[1].strip() # 面积大小 area = info[2].strip() # 房间朝向 toward = info[3].strip() # 装修类型 renovation = info[4].strip() # 房屋地址 positionInfo = ''.join(list(sell.select('div.positionInfo')[0].stripped_strings)) # 房屋总价 totalPrice = ''.join(list(sell.select('div.totalPrice')[0].stripped_strings)) # 房屋单价 unitPrice = list(sell.select('div.unitPrice')[0].stripped_strings)[0]
感谢各位的阅读!关于"python如何爬取二手房的数据"这篇文章就分享到这里了,希望以上内容可以对大家有一定的帮助,让大家可以学到更多知识,如果觉得文章不错,可以把它分享出去让更多的人看到吧!
数据
二手房
信息
房屋
房源
位置
内容
更多
有用
楼盘
篇文章
类型
网站
页面
不错
实用
代码
单价
名字
地址
数据库的安全要保护哪些东西
数据库安全各自的含义是什么
生产安全数据库录入
数据库的安全性及管理
数据库安全策略包含哪些
海淀数据库安全审计系统
建立农村房屋安全信息数据库
易用的数据库客户端支持安全管理
连接数据库失败ssl安全错误
数据库的锁怎样保障安全
服务器方向和后端
网络安全热点事件及分析
画一幅简单的网络安全手抄报
第一历史档案馆数据库阅读
西交网络安全 导师
四国机制网络安全
play 数据库
长治软件开发公司排行
ad域服务器搭建
软件开发岗位面试后多久答复
制造执行系统软件开发收费明细
南京安卓智能产品软件开发
兰州大学网络安全实验室
华为服务器还能享受免费贴膜吗
r星服务器怎么连接失败
龙岗网络安全有哪些
南阳网络安全工程师证
网络安全法44条一案双查
网络安全防范重要性 必要性
数据库系统设计报告
无锡塑合型服务器报价
格式化hive元数据库
成都net软件开发价格
公司网络安全宣传ppt
苏州最大服务器
软件开发要测试用例
开发岗数据库
网络安全要注意什么事项
神通数据库服务无法启动
pdm产品数据库管理