Python中如何使用正则表达式对文本类的数据进行提取
发表于:2025-02-19 作者:千家信息网编辑
千家信息网最后更新 2025年02月19日,小编给大家分享一下Python中如何使用正则表达式对文本类的数据进行提取,相信大部分人都还不怎么了解,因此分享这篇文章给大家参考一下,希望大家阅读完这篇文章后大有收获,下面让我们一起去了解一下吧!环境
千家信息网最后更新 2025年02月19日Python中如何使用正则表达式对文本类的数据进行提取
小编给大家分享一下Python中如何使用正则表达式对文本类的数据进行提取,相信大部分人都还不怎么了解,因此分享这篇文章给大家参考一下,希望大家阅读完这篇文章后大有收获,下面让我们一起去了解一下吧!
环境介绍:
python 3.6
pycharm
requests
re
json
爬虫的一般思路
1、确定爬取的url路径,headers参数
2、发送请求 -- requests 模拟浏览器发送请求,获取响应数据
3、解析数据 -- re模块:提供全部的正则表达式功能
4、保存数据 -- 保存json格式的数据
完整步骤:
1、安装库和导入模块
如果没有安装库的,可以WIN+R,然后输入cmd,最后输入代码安装
pip install requests
安装完成后可以输入代码查看你安装过所有的库:
pip list
导入模块
import requests import re import json
2、确定爬取的url路径,headers参数
base_url = 'https://www.guokr.com/ask/highlight/'headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'}
3、发送请求 -- requests 模拟浏览器发送请求,获取响应数据
response = requests.get(base_url, headers=headers)data = response.text
4、解析数据 -- re模块:提供全部的正则表达式功能
href="https://www.guokr.com/question/669761/">印度人把男人的生殖器叫林伽,把女人的生殖器叫瑜尼,林伽和瑜尼的交合,便是瑜伽。这是真还是假的
编译正则表达式 预编译的代码对象比直接使用字符串要快,因为解释器在执行字符串形式的代码前都必须把字符串编译成代码对象
pattern = re.compile('
5、保存json格式的文件
with open("guoke01.json", 'w', encoding='utf-8') as f: f.write(json_data_list)
6.构建一个循环爬取
for page in range(1, 101): print("====正在爬取第{}业数据====\n".format(page))
优化代码,把page传递进去
base_url = 'https://www.guokr.com/ask/highlight/?page={}'.format(str(page))
把列表添加到for循环上面去
data_list = []
最后运行代码,效果如下图:
以上是"Python中如何使用正则表达式对文本类的数据进行提取"这篇文章的所有内容,感谢各位的阅读!相信大家都有了一定的了解,希望分享的内容对大家有所帮助,如果还想学习更多知识,欢迎关注行业资讯频道!
数据
代码
正则
表达式
模块
字符
字符串
篇文章
编译
输入
文本
内容
功能
参数
对象
格式
浏览器
生殖器
路径
循环
数据库的安全要保护哪些东西
数据库安全各自的含义是什么
生产安全数据库录入
数据库的安全性及管理
数据库安全策略包含哪些
海淀数据库安全审计系统
建立农村房屋安全信息数据库
易用的数据库客户端支持安全管理
连接数据库失败ssl安全错误
数据库的锁怎样保障安全
考研 数据库技术与应用
国际邮件服务器软件大全
建立数据库随机生成试卷
常见网络技术卖价
软件开发标定
路由器网关和服务器怎么设置
中南大学软件开发公司
网络安全爆破工程师培训
官兵网络安全防范存在的问题
网络安全法41条的规则
fpga软件开发教程
无法连接firefox服务器
软件开发有必要i7吗
铁路公安 网络安全部
wps自动读取网页数据库
电脑无法连接服务器拨号
r720服务器双电源热备
成都嵌入式软件开发工程师
网络安全周是什么
如何组织校园网络安全教育
湖南省软件开发就业
邵阳计算机软件开发
魔兽世界二区服务器阵营比例
雷达币服务器在哪个国
数据库跟编程
网络安全手抄报复杂又好看
传奇数据库下载
数据库 读写 硬盘
中山财务机器人rpa软件开发
数据库设计的方法应该属于