大数据中如何批量获取指定地址的经纬度信息
发表于:2024-09-21 作者:千家信息网编辑
千家信息网最后更新 2024年09月21日,本篇文章给大家分享的是有关大数据中如何批量获取指定地址的经纬度信息,小编觉得挺实用的,因此分享给大家学习,希望大家阅读完这篇文章后可以有所收获,话不多说,跟着小编一起来看看吧。如何批量查询地址经纬信息
千家信息网最后更新 2024年09月21日大数据中如何批量获取指定地址的经纬度信息
本篇文章给大家分享的是有关大数据中如何批量获取指定地址的经纬度信息,小编觉得挺实用的,因此分享给大家学习,希望大家阅读完这篇文章后可以有所收获,话不多说,跟着小编一起来看看吧。
如何批量查询地址经纬信息?
抓包
打开https://jingweidu.51240.com/
F12键(mac电脑快捷键option+command+I)打开开发者工具Network面板
搜索框输入查询地址,回车查询
开发者工具Network会看到截图中的网址
点击Preview,能看到具体信息
1. 经纬度查询爬虫函数query
1. 根据抓包分析,构造网址模板template
2. 使用requests库发起访问
3. 使用正则表达式re库解析出经纬度信息
import requestsdef query(addr): #查询addr的经纬度 template = 'https://apis.map.qq.com/jsapi?qt=geoc&addr={addr}&key=UGMBZ-CINWR-DDRW5-W52AK-D3ENK-ZEBRC&output=jsonp&pf=jsapi&ref=jsapi&cb=qq.maps._svcb2.geocoder0' url = template.format(addr=addr) resp = requests.get(url) x = re.findall('pointx":"(.*?)",',resp.text)[0] y = re.findall('pointy":"(.*?)",',resp.text)[0] return x,yquery(addr="山东省潍坊市安丘市兴安街道")
('119.161423', '36.331699')
2. 测试数据
import pandas as pddf = pd.read_csv("test.csv")df
companyaddr0公司A山东省潍坊市安丘市兴安街道1公司B浙江省杭州市萧山区2公司C广东省广州市番禺区3公司D陕西省西安市莲湖区
df['addr']
0 山东省潍坊市安丘市兴安街道1 浙江省杭州市萧山区2 广东省广州市番禺区3 陕西省西安市莲湖区Name: addr, dtype: object
3. 批量查询
对选中的addr列,使用apply方法调用query函数批量查询经纬度
df['经纬度']=df['addr'].apply(query)df
0 (119.161423, 36.331699)1 (120.264570, 30.185340)2 (113.384240, 22.937720)3 (108.940200, 34.267030)Name: addr, dtype: object
4. 保存
df['经纬度']=df['addr'].apply(query)df
companyaddr经纬度0公司A山东省潍坊市安丘市兴安街道(119.161423, 36.331699)1公司B浙江省杭州市萧山区(120.264570, 30.185340)2公司C广东省广州市番禺区(113.384240, 22.937720)3公司D陕西省西安市莲湖区(108.940200, 34.267030)
5. 导出csv
结果导出到csv中
df.to_csv('result.csv')
以上就是大数据中如何批量获取指定地址的经纬度信息,小编相信有部分知识点可能是我们日常工作会见到或用到的。希望你能通过这篇文章学到更多知识。更多详情敬请关注行业资讯频道。
经纬
经纬度
公司
查询
信息
地址
街道
兴安
安丘
安丘市
山东
山东省
潍坊
潍坊市
数据
广东
广东省
广州
广州市
杭州
数据库的安全要保护哪些东西
数据库安全各自的含义是什么
生产安全数据库录入
数据库的安全性及管理
数据库安全策略包含哪些
海淀数据库安全审计系统
建立农村房屋安全信息数据库
易用的数据库客户端支持安全管理
连接数据库失败ssl安全错误
数据库的锁怎样保障安全
teledb数据库资料
天堂2无法登陆服务器
学信网万方数据库查重
中俄网络安全方面
传奇私服手机版本服务器端
无法连接彩虹六号异种服务器
衣服软件开发优势ppt
汽车网络技术题目
tg网络安全邮件
我国网络安全的基本概况
华为通信网络技术教程
数据库主从是什么
网络安全文明建设工作总结
盐城点点网络技术
网络技术拜师
爬虫技术获取数据库
苏州新型刀片服务器定制
工控数据库安全
以太网络技术
查看dbms下的数据库
服务器进水源码丢失
时序数据库 vm
具体的信息技术 网络技术
dell服务器 重启
数据库关系图的意义
数据库动态脱敏技术路线
网络技术与应用作业2017
spl数据库
服务器地址可以做网关么
停巴互联网科技