怎么用python爬虫爬取人人网上面的信息

这篇文章主要讲解了"怎么用python爬虫爬取人人网上面的信息"，文中的讲解内容简单清晰，易于学习与理解，下面请大家跟着小编的思路慢慢深入，一起来研究和学习"怎么用python爬虫爬取人人网上面的信息"吧！

requests 提供了一个叫做session类，来实现客户端和服务端的会话保持

使用方法

1.实例化一个session对象

2.让session发送get或者post请求

session = requests.session()session.get(url,headers)

下面就用人人网来实战一下

# coding=utf-8import requestssession = requests.session()# 登录的表单urlpost_url = "http://www.renren.com/PLogin.do"post_data = {"email": "your_email", "password": "your_password"}headers = {  "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.84 Safari/537.36"}# 使用session发送post请求，cookie保存在其中session.post(post_url, data=post_data, headers=headers)# 在使用session进行请求登陆之后才能访问的地址# 这是个人首页urlr = session.get("http://www.renren.com/327550088/profile", headers=headers)# 保存页面到本地with open("renren1.html", "w", encoding="utf-8") as f:  f.write(r.content.decode('utf-8'))

就这么简单，模拟登录上人人网并且获取了个人首页信息页面保存到本地。

其实网站记录登录状态就是通过cookie里面携带的信息，如果我们发送请求的时候带上登录的cookie能不能够访问到只有登录才能访问的页面，当然是可以的

请看代码

# coding=utf-8import requestsheaders = {  "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.84 Safari/537.36",  "Cookie":"你的登录cookie"}r = requests.get("http://www.renren.com/327550088/profile",headers=headers)#保存页面with open("renren2.html","w",encoding="utf-8") as f:  f.write(r.content.decode())

可以看到， Cookie 可以放在 headers 中，其实 requests 中也有一个参数用来传递cookie，这个参数就是 cookies

请看代码

# 字典生成器的用法cookies = {i.split("=")[0]:i.split("=")[1] for i in cookies.split("; ")}print(cookies)r = requests.get("http://www.renren.com/327550088/profile",headers=headers,cookies=cookies)

感谢各位的阅读，以上就是"怎么用python爬虫爬取人人网上面的信息"的内容了，经过本文的学习后，相信大家对怎么用python爬虫爬取人人网上面的信息这一问题有了更深刻的体会，具体使用情况还需要大家实践验证。这里是，小编将为大家推送更多相关知识点的文章，欢迎关注！