怎么用python爬取今日说法每期数据
发表于:2024-10-11 作者:千家信息网编辑
千家信息网最后更新 2024年10月11日,今天小编给大家分享一下怎么用python爬取今日说法每期数据的相关知识点,内容详细,逻辑清晰,相信大部分人都还太了解这方面的知识,所以分享这篇文章给大家参考一下,希望大家阅读完这篇文章后有所收获,下面
千家信息网最后更新 2024年10月11日怎么用python爬取今日说法每期数据
今天小编给大家分享一下怎么用python爬取今日说法每期数据的相关知识点,内容详细,逻辑清晰,相信大部分人都还太了解这方面的知识,所以分享这篇文章给大家参考一下,希望大家阅读完这篇文章后有所收获,下面我们一起来了解一下吧。
代码
import xlwtimport reimport requests# url = "https://tv.cctv.com/lm/jrsf/index.shtml"def get_data(page): url = 'https://api.cntv.cn/NewVideo/getVideoListByColumn?id=TOPC145146466500891' \ '4&n=1000&sort=desc&p={pageNo}&mode=0&serviceId=tvcctv&cb=Callback'.format(pageNo=page) headers = { 'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 ' '(KHTML, like Gecko) Chrome/92.0.4515.131 Safari/537.36' } response = requests.get(url=url, headers=headers) return response.text # print(response.text)if __name__ == "__main__": headers = { 'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 ' '(KHTML, like Gecko) Chrome/92.0.4515.131 Safari/537.36' } book = xlwt.Workbook(encoding='utf-8', style_compression=0) sheet = book.add_sheet('今日说法', cell_overwrite_ok=True) count = 0 for page in range(1,5): page_content = get_data(page) obj = re.compile(r'url":"(.*?.shtml)"', re.S) imgUrl = re.findall(obj, page_content.replace('\\', '')) for i in range(len(imgUrl)): resp = requests.get(url=imgUrl[i], headers=headers) resp.encoding = 'utf-8' obj2 = re.compile(r'更新时间:(.*?)', re.S) time = re.findall(obj2, resp.text) obj3 = re.compile(r'视频简介:(.*?)', re.S) jianjie = re.findall(obj3, resp.text) content = [] content.append(time) content.append(jianjie) for j in range(2): sheet.write(count, j, content[j]) count+=1 book.save("./data_5.xls")
实验结果
以上就是"怎么用python爬取今日说法每期数据"这篇文章的所有内容,感谢各位的阅读!相信大家阅读完这篇文章都有很大的收获,小编每天都会为大家更新不同的知识,如果还想学习更多的知识,请关注行业资讯频道。
知识
篇文章
说法
数据
内容
更新
不同
很大
代码
大部分
就是
时间
更多
知识点
简介
结果
行业
视频
资讯
资讯频道
数据库的安全要保护哪些东西
数据库安全各自的含义是什么
生产安全数据库录入
数据库的安全性及管理
数据库安全策略包含哪些
海淀数据库安全审计系统
建立农村房屋安全信息数据库
易用的数据库客户端支持安全管理
连接数据库失败ssl安全错误
数据库的锁怎样保障安全
飞猫网络技术
香港云都网络技术服务有限公司
dnf服务器关闭什么意思
100m服务器价钱
五大连池市天气预报软件开发
软件开发组合
银河麒麟安装到服务器
钉钉第三方邮箱服务器配置
基于MBSE软件开发的优势
数据库移植需要懂数据库存储吗
比亚迪要做服务器吗
网络安全建设情况绩效情况
软件开发配套措施
金税盘提示数据库链接失败
计算机网络技术基础微课视频
学生防范网络安全
个人软件开发个税
吉大网格计算与网络安全
扁桃的服务器地址
软件开发 ee
计算机网络技术的发展标志性技术
sql数据库面试常见问题
计算机网络技术专业大专
茂南区天网络技术服务部QQ
有关预防网络安全的黑板报
自制本地dns服务器
一个数据库由什么组成
计算机应用程序软件开发
网络安全审查办公室设在__
静安区推广软件开发供应商