python爬取豆瓣电影TOP250数据的代码怎么写
发表于:2024-09-22 作者:千家信息网编辑
千家信息网最后更新 2024年09月22日,今天小编给大家分享一下python爬取豆瓣电影TOP250数据的代码怎么写的相关知识点,内容详细,逻辑清晰,相信大部分人都还太了解这方面的知识,所以分享这篇文章给大家参考一下,希望大家阅读完这篇文章后
千家信息网最后更新 2024年09月22日python爬取豆瓣电影TOP250数据的代码怎么写
今天小编给大家分享一下python爬取豆瓣电影TOP250数据的代码怎么写的相关知识点,内容详细,逻辑清晰,相信大部分人都还太了解这方面的知识,所以分享这篇文章给大家参考一下,希望大家阅读完这篇文章后有所收获,下面我们一起来了解一下吧。
在执行程序前,先在MySQL中创建一个数据库"pachong"。
import pymysqlimport requestsimport re#获取资源并下载def resp(listURL): #连接数据库 conn = pymysql.connect( host = '127.0.0.1', port = 3306, user = 'root', password = '******', #数据库密码请根据自身实际密码输入 database = 'pachong', charset = 'utf8' ) #创建数据库游标 cursor = conn.cursor() #创建列表t_movieTOP250(执行sql语句) cursor.execute('create table t_movieTOP250(id INT PRIMARY KEY auto_increment NOT NULL ,movieName VARCHAR(20) NOT NULL ,pictrue_address VARCHAR(100))') try: # 爬取数据 for urlPath in listURL: # 获取网页源代码 response = requests.get(urlPath) html = response.text # 正则表达式 namePat = r'alt="(.*?)" src=' imgPat = r'src="https://atts.yisu.com/attachments/(.*?)" class=' # 匹配正则(排名【用数据库中id代替,自动生成及排序】、电影名、电影海报(图片地址)) res2 = re.compile(namePat) res3 = re.compile(imgPat) textList2 = res2.findall(html) textList3 = res3.findall(html) # 遍历列表中元素,并将数据存入数据库 for i in range(len(textList3)): cursor.execute('insert into t_movieTOP250(movieName,pictrue_address) VALUES("%s","%s")' % (textList2[i],textList3[i])) #从游标中获取结果 cursor.fetchall() #提交结果 conn.commit() print("结果已提交") except Exception as e: #数据回滚 conn.rollback() print("数据已回滚") #关闭数据库 conn.close()#top250所有网页网址def page(url): urlList = [] for i in range(10): num = str(25*i) pagePat = r'?start=' + num + '&filter=' urL = url+pagePat urlList.append(urL) return urlListif __name__ == '__main__': url = r"https://movie.douban.com/top250" listURL = page(url) resp(listURL)
以上就是"python爬取豆瓣电影TOP250数据的代码怎么写"这篇文章的所有内容,感谢各位的阅读!相信大家阅读完这篇文章都有很大的收获,小编每天都会为大家更新不同的知识,如果还想学习更多的知识,请关注行业资讯频道。
数据
数据库
电影
知识
篇文章
结果
代码
豆瓣
内容
密码
正则
游标
网页
不同
很大
元素
图片
地址
大部分
实际
数据库的安全要保护哪些东西
数据库安全各自的含义是什么
生产安全数据库录入
数据库的安全性及管理
数据库安全策略包含哪些
海淀数据库安全审计系统
建立农村房屋安全信息数据库
易用的数据库客户端支持安全管理
连接数据库失败ssl安全错误
数据库的锁怎样保障安全
nodejs管理服务器文件
软件开发在天津好找工作吗
qcms服务器
破解远程服务器密码
网络安全法组成
如何共建网络安全共享网络文明
联合制定网络安全审核
广州圆心网络技术
传奇四川服务器
服务器行业基础知识
西安软件开发都在哪里
临沂戴尔服务器代理服务
数据库提取图层
怎么弄一个虚拟服务器
网络安全的攻防体系具体
海军软件开发标准
云养殖系统软件开发
法院关于网络安全自查报告
淮安互联网软件开发价钱
潍坊软件开发厂家电话
数据库开发与管理技术
ajax数据库查询结果
无法建立与ppp服务器
计算机应用的数据库
对日外包软件开发前景好吗
时光倒流软件开发
柬埔寨的网络技术
网络里的数据库是哪种
华为国产服务器特点
万人在线游戏服务器价