怎么用python爬取今日说法每期数据
发表于:2024-10-11 作者:千家信息网编辑
千家信息网最后更新 2024年10月11日,今天小编给大家分享一下怎么用python爬取今日说法每期数据的相关知识点,内容详细,逻辑清晰,相信大部分人都还太了解这方面的知识,所以分享这篇文章给大家参考一下,希望大家阅读完这篇文章后有所收获,下面
千家信息网最后更新 2024年10月11日怎么用python爬取今日说法每期数据
今天小编给大家分享一下怎么用python爬取今日说法每期数据的相关知识点,内容详细,逻辑清晰,相信大部分人都还太了解这方面的知识,所以分享这篇文章给大家参考一下,希望大家阅读完这篇文章后有所收获,下面我们一起来了解一下吧。
代码
import xlwtimport reimport requests# url = "https://tv.cctv.com/lm/jrsf/index.shtml"def get_data(page): url = 'https://api.cntv.cn/NewVideo/getVideoListByColumn?id=TOPC145146466500891' \ '4&n=1000&sort=desc&p={pageNo}&mode=0&serviceId=tvcctv&cb=Callback'.format(pageNo=page) headers = { 'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 ' '(KHTML, like Gecko) Chrome/92.0.4515.131 Safari/537.36' } response = requests.get(url=url, headers=headers) return response.text # print(response.text)if __name__ == "__main__": headers = { 'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 ' '(KHTML, like Gecko) Chrome/92.0.4515.131 Safari/537.36' } book = xlwt.Workbook(encoding='utf-8', style_compression=0) sheet = book.add_sheet('今日说法', cell_overwrite_ok=True) count = 0 for page in range(1,5): page_content = get_data(page) obj = re.compile(r'url":"(.*?.shtml)"', re.S) imgUrl = re.findall(obj, page_content.replace('\\', '')) for i in range(len(imgUrl)): resp = requests.get(url=imgUrl[i], headers=headers) resp.encoding = 'utf-8' obj2 = re.compile(r'更新时间:(.*?)', re.S) time = re.findall(obj2, resp.text) obj3 = re.compile(r'视频简介:(.*?)', re.S) jianjie = re.findall(obj3, resp.text) content = [] content.append(time) content.append(jianjie) for j in range(2): sheet.write(count, j, content[j]) count+=1 book.save("./data_5.xls")
实验结果
以上就是"怎么用python爬取今日说法每期数据"这篇文章的所有内容,感谢各位的阅读!相信大家阅读完这篇文章都有很大的收获,小编每天都会为大家更新不同的知识,如果还想学习更多的知识,请关注行业资讯频道。
知识
篇文章
说法
数据
内容
更新
不同
很大
代码
大部分
就是
时间
更多
知识点
简介
结果
行业
视频
资讯
资讯频道
数据库的安全要保护哪些东西
数据库安全各自的含义是什么
生产安全数据库录入
数据库的安全性及管理
数据库安全策略包含哪些
海淀数据库安全审计系统
建立农村房屋安全信息数据库
易用的数据库客户端支持安全管理
连接数据库失败ssl安全错误
数据库的锁怎样保障安全
战地5服务器管理
ibm服务器管理口账户
国内服务器绕过备案
写出配置web服务器的步骤
人民银行开展网络安全宣传
加强网络安全的意义 申论
海康威视管理服务器初始密码
软件开发框图怎么画
网络技术网站英文
不使用代理服务器设置会怎样
服务器地址无法更改
db2数据库优化参数
比赛连接任一服务器失败
网站数据库文件太大
小学网络安全与防护教案
服务器磁盘阵列和虚拟机系统安装
厦门亿联网络技术待遇
盐城新品联想服务器厂家直供
北京大数据软件开发公司
wps服务器如何部署
暗棋突围服务器崩了还怎么进去
网络安全法律什么化
网络安全评估每年几次
9.15网络安全日手抄报
开放的数据库
系统软件开发公司 淄博
寻甸品质软件开发价格信息
网络安全博士毕业难吗
电子政务外网网络安全管理
网络安全性等级制度