Python中如何使用正则表达式对文本类的数据进行提取
发表于:2025-02-02 作者:千家信息网编辑
千家信息网最后更新 2025年02月02日,小编给大家分享一下Python中如何使用正则表达式对文本类的数据进行提取,相信大部分人都还不怎么了解,因此分享这篇文章给大家参考一下,希望大家阅读完这篇文章后大有收获,下面让我们一起去了解一下吧!环境
千家信息网最后更新 2025年02月02日Python中如何使用正则表达式对文本类的数据进行提取
小编给大家分享一下Python中如何使用正则表达式对文本类的数据进行提取,相信大部分人都还不怎么了解,因此分享这篇文章给大家参考一下,希望大家阅读完这篇文章后大有收获,下面让我们一起去了解一下吧!
环境介绍:
python 3.6
pycharm
requests
re
json
爬虫的一般思路
1、确定爬取的url路径,headers参数
2、发送请求 -- requests 模拟浏览器发送请求,获取响应数据
3、解析数据 -- re模块:提供全部的正则表达式功能
4、保存数据 -- 保存json格式的数据
完整步骤:
1、安装库和导入模块
如果没有安装库的,可以WIN+R,然后输入cmd,最后输入代码安装
pip install requests
安装完成后可以输入代码查看你安装过所有的库:
pip list
导入模块
import requests import re import json
2、确定爬取的url路径,headers参数
base_url = 'https://www.guokr.com/ask/highlight/'headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'}
3、发送请求 -- requests 模拟浏览器发送请求,获取响应数据
response = requests.get(base_url, headers=headers)data = response.text
4、解析数据 -- re模块:提供全部的正则表达式功能
href="https://www.guokr.com/question/669761/">印度人把男人的生殖器叫林伽,把女人的生殖器叫瑜尼,林伽和瑜尼的交合,便是瑜伽。这是真还是假的
编译正则表达式 预编译的代码对象比直接使用字符串要快,因为解释器在执行字符串形式的代码前都必须把字符串编译成代码对象
pattern = re.compile('
5、保存json格式的文件
with open("guoke01.json", 'w', encoding='utf-8') as f: f.write(json_data_list)
6.构建一个循环爬取
for page in range(1, 101): print("====正在爬取第{}业数据====\n".format(page))
优化代码,把page传递进去
base_url = 'https://www.guokr.com/ask/highlight/?page={}'.format(str(page))
把列表添加到for循环上面去
data_list = []
最后运行代码,效果如下图:
以上是"Python中如何使用正则表达式对文本类的数据进行提取"这篇文章的所有内容,感谢各位的阅读!相信大家都有了一定的了解,希望分享的内容对大家有所帮助,如果还想学习更多知识,欢迎关注行业资讯频道!
数据
代码
正则
表达式
模块
字符
字符串
篇文章
编译
输入
文本
内容
功能
参数
对象
格式
浏览器
生殖器
路径
循环
数据库的安全要保护哪些东西
数据库安全各自的含义是什么
生产安全数据库录入
数据库的安全性及管理
数据库安全策略包含哪些
海淀数据库安全审计系统
建立农村房屋安全信息数据库
易用的数据库客户端支持安全管理
连接数据库失败ssl安全错误
数据库的锁怎样保障安全
深圳微客云网络技术有限公司
四川工业软件开发有用吗
数据库笛卡尔积写法
戴尔服务器3000电源
服务器安全链连失败
服务器数据库密码破解
c+软件开发方案
sql 创建数据库代码
旌德微型软件开发服务零售价格
服务器占用内存大是为什么
身边的网络安全故事2000字
网络技术可以报哪个学校
坚决守住网络安全底线
成都服务器回收选哪家
java项目在服务器发布流程
服务器硬盘
网络安全手抄报内容 小学生
投资方和软件开发的比例分成
知道dns服务器地址
护苗.网络安全课宣传标语
数据库 名字
宁波余姚市dell塔式服务器
联想服务器认证证书
smtp服务器怎么管理
计算机软件开发工程师 英文
北京文档软件开发技术
上海进口软件开发经验丰富
四川互联网络科技
提取数据库中的json数据
川酒互联网络科技公司