千家信息网

怎么用python爬取今日说法每期数据

发表于:2025-01-18 作者:千家信息网编辑
千家信息网最后更新 2025年01月18日,今天小编给大家分享一下怎么用python爬取今日说法每期数据的相关知识点,内容详细,逻辑清晰,相信大部分人都还太了解这方面的知识,所以分享这篇文章给大家参考一下,希望大家阅读完这篇文章后有所收获,下面
千家信息网最后更新 2025年01月18日怎么用python爬取今日说法每期数据

今天小编给大家分享一下怎么用python爬取今日说法每期数据的相关知识点,内容详细,逻辑清晰,相信大部分人都还太了解这方面的知识,所以分享这篇文章给大家参考一下,希望大家阅读完这篇文章后有所收获,下面我们一起来了解一下吧。

代码

import xlwtimport reimport requests# url = "https://tv.cctv.com/lm/jrsf/index.shtml"def get_data(page):    url = 'https://api.cntv.cn/NewVideo/getVideoListByColumn?id=TOPC145146466500891' \          '4&n=1000&sort=desc&p={pageNo}&mode=0&serviceId=tvcctv&cb=Callback'.format(pageNo=page)    headers = {        'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 '                      '(KHTML, like Gecko) Chrome/92.0.4515.131 Safari/537.36'    }    response = requests.get(url=url, headers=headers)    return response.text    # print(response.text)if __name__ == "__main__":    headers = {        'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 '                      '(KHTML, like Gecko) Chrome/92.0.4515.131 Safari/537.36'    }    book = xlwt.Workbook(encoding='utf-8', style_compression=0)    sheet = book.add_sheet('今日说法', cell_overwrite_ok=True)    count = 0    for page in range(1,5):        page_content = get_data(page)        obj = re.compile(r'url":"(.*?.shtml)"', re.S)        imgUrl = re.findall(obj, page_content.replace('\\', ''))        for i in range(len(imgUrl)):            resp = requests.get(url=imgUrl[i], headers=headers)            resp.encoding = 'utf-8'            obj2 = re.compile(r'更新时间:(.*?)

', re.S) time = re.findall(obj2, resp.text) obj3 = re.compile(r'视频简介:(.*?)

', re.S) jianjie = re.findall(obj3, resp.text) content = [] content.append(time) content.append(jianjie) for j in range(2): sheet.write(count, j, content[j]) count+=1 book.save("./data_5.xls")

实验结果

以上就是"怎么用python爬取今日说法每期数据"这篇文章的所有内容,感谢各位的阅读!相信大家阅读完这篇文章都有很大的收获,小编每天都会为大家更新不同的知识,如果还想学习更多的知识,请关注行业资讯频道。

知识 篇文章 说法 数据 内容 更新 不同 很大 代码 大部分 就是 时间 更多 知识点 简介 结果 行业 视频 资讯 资讯频道 数据库的安全要保护哪些东西 数据库安全各自的含义是什么 生产安全数据库录入 数据库的安全性及管理 数据库安全策略包含哪些 海淀数据库安全审计系统 建立农村房屋安全信息数据库 易用的数据库客户端支持安全管理 连接数据库失败ssl安全错误 数据库的锁怎样保障安全 银河麒麟操作系统的数据库 网络安全我从做起演讲稿 创建CRM客户关系管理数据库 区块链商城软件开发 上海服务器回收 服务器连不上其他电脑 手机网络安全服务系统 明日之后同服务器能见面吗 数据库应用基本函数 二类电商网络技术推广 网络安全具体实施方案 电网项目数据库一般用什么 信息网络安全_包括 普陀区工商软件开发供应商 上海工商金融网络技术服务热线 企业应用开发与自主软件开发 河北网络技术转让代理品牌 服务器一定要配ups吗 软件开发瀑布模型流程 租用服务器如何维护安全 网络安全和公共卫生安全班会 ted演讲tweet网络安全 服务器处理异常 南京金山云网络技术公司电话 瓦洛兰特登录无法连接服务器 整车热管理 软件开发工程师 数据库新建一个表学号姓名 开封市网络安全知识答题活动开始 做软件开发适合自考计算机吗 四川联商宝网络技术有限公司
0