怎么用python爬虫爬取人人网上面的信息
发表于:2024-09-22 作者:千家信息网编辑
千家信息网最后更新 2024年09月22日,这篇文章主要讲解了"怎么用python爬虫爬取人人网上面的信息",文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着小编的思路慢慢深入,一起来研究和学习"怎么用python爬虫爬取人人网上面的信息
千家信息网最后更新 2024年09月22日怎么用python爬虫爬取人人网上面的信息
这篇文章主要讲解了"怎么用python爬虫爬取人人网上面的信息",文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着小编的思路慢慢深入,一起来研究和学习"怎么用python爬虫爬取人人网上面的信息"吧!
requests 提供了一个叫做session类,来实现客户端和服务端的会话保持
使用方法
1.实例化一个session对象
2.让session发送get或者post请求
session = requests.session()session.get(url,headers)
下面就用人人网来实战一下
# coding=utf-8import requestssession = requests.session()# 登录的表单urlpost_url = "http://www.renren.com/PLogin.do"post_data = {"email": "your_email", "password": "your_password"}headers = { "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.84 Safari/537.36"}# 使用session发送post请求,cookie保存在其中session.post(post_url, data=post_data, headers=headers)# 在使用session进行请求登陆之后才能访问的地址# 这是个人首页urlr = session.get("http://www.renren.com/327550088/profile", headers=headers)# 保存页面到本地with open("renren1.html", "w", encoding="utf-8") as f: f.write(r.content.decode('utf-8'))
就这么简单,模拟登录上人人网并且获取了个人首页信息页面保存到本地。
其实网站记录登录状态就是通过cookie里面携带的信息,如果我们发送请求的时候带上登录的cookie能不能够访问到只有登录才能访问的页面,当然是可以的
请看代码
# coding=utf-8import requestsheaders = { "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.84 Safari/537.36", "Cookie":"你的登录cookie"}r = requests.get("http://www.renren.com/327550088/profile",headers=headers)#保存页面with open("renren2.html","w",encoding="utf-8") as f: f.write(r.content.decode())
可以看到, Cookie 可以放在 headers 中,其实 requests 中也有一个参数用来传递cookie,这个参数就是 cookies
请看代码
# 字典生成器的用法cookies = {i.split("=")[0]:i.split("=")[1] for i in cookies.split("; ")}print(cookies)r = requests.get("http://www.renren.com/327550088/profile",headers=headers,cookies=cookies)
感谢各位的阅读,以上就是"怎么用python爬虫爬取人人网上面的信息"的内容了,经过本文的学习后,相信大家对怎么用python爬虫爬取人人网上面的信息这一问题有了更深刻的体会,具体使用情况还需要大家实践验证。这里是,小编将为大家推送更多相关知识点的文章,欢迎关注!
信息
登录
人人
爬虫
面的
页面
就是
学习
个人
代码
内容
参数
请看
utf-8
人网
首页
上人
使用方法
只有
地址
数据库的安全要保护哪些东西
数据库安全各自的含义是什么
生产安全数据库录入
数据库的安全性及管理
数据库安全策略包含哪些
海淀数据库安全审计系统
建立农村房屋安全信息数据库
易用的数据库客户端支持安全管理
连接数据库失败ssl安全错误
数据库的锁怎样保障安全
密码学的网络安全题目怎么做
网站开发软件开发商
我的世界手游怎么搜索服务器号
列举数据库查询的用途
重庆开心拿网络技术有限公司
破解远程服务器密码
DELL服务器提示默认保护
南部战区网络安全
陕西浪潮服务器虚拟化操作云主机
电子商务跟网络技术
数据库安全性包括哪几个
学习网络安全开发
cod16连接服务器加载不进去
数据库域名怎么写
神海游戏服务器
交换机与网络安全
安卓服务器系统下载
陕西东信网络技术有限公司
大连理工大学计算机网络技术
南通朗涯互联网科技有限公司
工行软件开发中心架构
涪陵区提供网络技术服务内容
网络安全监督者
网络安全学院的录取分数线
数据库系统概念 ppt
数据库技术与应用教学方法
网络安全宣传周表态发言教育局
客户数据库需求分析怎么写
柬埔寨的网络技术
数据库写入的同时读取