怎么用Python网络爬虫来看看最近电影院都有哪些上映的电影
发表于:2024-10-09 作者:千家信息网编辑
千家信息网最后更新 2024年10月09日,这篇文章主要讲解了"怎么用Python网络爬虫来看看最近电影院都有哪些上映的电影",文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着小编的思路慢慢深入,一起来研究和学习"怎么用Python网络爬
千家信息网最后更新 2024年10月09日怎么用Python网络爬虫来看看最近电影院都有哪些上映的电影
这篇文章主要讲解了"怎么用Python网络爬虫来看看最近电影院都有哪些上映的电影",文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着小编的思路慢慢深入,一起来研究和学习"怎么用Python网络爬虫来看看最近电影院都有哪些上映的电影"吧!
项目实现
1、定义一个class类继承object,定义init方法继承self,主函数main继承self。导入需要的库和网址,代码如下所示。
import requests from lxml import etree import time import random class MaoyanSpider(object): def __init__(self): self.url = "https://maoyan.com/films?showType=2&offset={}" def main(self): pass if __name__ == '__main__': spider = MaoyanSpider() spider.main()
2、随机产生UserAgent。
for i in range(1, 50): # ua.random,一定要写在这里,每次请求都会随机选择。 self.headers = { 'User-Agent': ua.random, }
3、发送请求,获取页面响应。
def get_page(self, url): # random.choice一定要写在这里,每次请求都会随机选择 res = requests.get(url, headers=self.headers) res.encoding = 'utf-8' html = res.text self.parse_page(html)
4、xpath解析一级页面数据,获取页面信息。
1)基准xpath节点对象列表。
# 创建解析对象 parse_html = etree.HTML(html) # 基准xpath节点对象列表 dd_list = parse_html.xpath('//dl[@class="movie-list"]//dd')
2)依次遍历每个节点对象,提取数据。
for dd in dd_list: name = dd.xpath('.//div[@class="movie-hover-title"]//span[@class="name noscore"]/text()')[0].strip() star = dd.xpath('.//div[@class="movie-hover-info"]//div[@class="movie-hover-title"][3]/text()')[1].strip() type = dd.xpath('.//div[@class="movie-hover-info"]//div[@class="movie-hover-title"][2]/text()')[1].strip() dowld=dd.xpath('.//div[@class="movie-item-hover"]/a/@href')[0].strip() # print(movie_dict) movie = '''【即将上映】
5、定义movie,保存打印数据。
movie = '''【即将上映】 电影名字: %s 主演:%s 类型:%s 详情链接:https://maoyan.com%s ========================================================= ''' % (name, star, type,dowld) print( movie)
6、random.randint()方法,设置时间延时。
time.sleep(random.randint(1, 3))
7、调用方法,实现功能。
html = self.get_page(url) self.parse_page(html)
效果展示
1、点击绿色小三角运行输入起始页,终止页。
2、运行程序后,结果显示在控制台,如下图所示。
3、点击蓝色下载链接, 网络查看详情。
感谢各位的阅读,以上就是"怎么用Python网络爬虫来看看最近电影院都有哪些上映的电影"的内容了,经过本文的学习后,相信大家对怎么用Python网络爬虫来看看最近电影院都有哪些上映的电影这一问题有了更深刻的体会,具体使用情况还需要大家实践验证。这里是,小编将为大家推送更多相关知识点的文章,欢迎关注!
电影
网络
爬虫
电影院
对象
数据
方法
节点
页面
学习
内容
基准
详情
链接
运行
选择
代码
信息
函数
功能
数据库的安全要保护哪些东西
数据库安全各自的含义是什么
生产安全数据库录入
数据库的安全性及管理
数据库安全策略包含哪些
海淀数据库安全审计系统
建立农村房屋安全信息数据库
易用的数据库客户端支持安全管理
连接数据库失败ssl安全错误
数据库的锁怎样保障安全
数据库企业培训设计
网络安全的威胁主要形式
网络安全先进个人事迹材料
学校网络安全领导小组职责
第七章 网络安全与管理
英文网络数据库的检索技术
腾讯服务器不会停止运行吗
软件开发可用性原则
什么情况下数据库分区
的易网络技术有限公司怎么样
数据库查询条件包括
数据库管系统设计
sql数据库上不去
5g网络技术深度解析
select并发服务器
职业高中学软件开发好吗
数据库 角色数
深圳德迅网络安全工程师
web开发服务器找不到网页资源
数据库安全性例子
宝山区良好软件开发
计算机网络技术干嘛的
数据库企业培训设计
国产x86服务器中科可控
苏州权拓网络技术有限公司
数据库关系的码
安徽测试软件开发
加强信息保护网络安全法
怎么设置数据库排序字段
网络安全七字标语