怎么用python爬取中国大学排名网站排名信息
发表于:2024-09-21 作者:千家信息网编辑
千家信息网最后更新 2024年09月21日,今天就跟大家聊聊有关怎么用python爬取中国大学排名网站排名信息,可能很多人都不太了解,为了让大家更加了解,小编给大家总结了以下内容,希望大家根据这篇文章可以有所收获。程序解决问题如下:利用pyth
千家信息网最后更新 2024年09月21日怎么用python爬取中国大学排名网站排名信息
今天就跟大家聊聊有关怎么用python爬取中国大学排名网站排名信息,可能很多人都不太了解,为了让大家更加了解,小编给大家总结了以下内容,希望大家根据这篇文章可以有所收获。
程序解决问题如下:
利用python网络爬虫爬取中国大学排名网站上的排名信息,将排名前20的大学的信息保存为文本文件,并在窗口打印出这20所大学的信息,按列打印和保存。
程序代码如下:
import requestsfrom bs4 import BeautifulSoupimport bs4 def getHTMLText(url): try: r = requests.get(url, timeout=30) r.raise_for_status() r.encoding = r.apparent_encoding return r.text except: return "" def fillUnivList(ulist, html): soup = BeautifulSoup(html, "html.parser") for tr in soup.find('tbody').children: if isinstance(tr, bs4.element.Tag): tds = tr('td') hdfd = tds[0].find('div') tt = hdfd.string.split() ff = "".join(tt) attr = tds[1].find('a') hh = tds[4].string.split() hg = "".join(hh) shf=tds[2].text.split() shfn="".join(shf) ulist.append([ff, attr.string,shfn,hg]) def printUnivList(ulist, num): tplt = "{0:^10}\t{1:{4}^10}\t{2:^10}\t{3:^10}" print(tplt.format("排名","学校名称","省份","总分", chr(12288))) with open('save.txt', 'w+', encoding='utf-8') as f: f.write(tplt.format("排名","学校名称","省份","总分", chr(12288))) f.write('\n') for i in range(num): u = ulist[i] print(tplt.format(u[0], u[1], u[2],u[3],chr(12288))) with open('save.txt', 'a', encoding='utf-8') as f: f.write(tplt.format(u[0], u[1], u[2],u[3],chr(12288))) f.write('\n') def main(): with open('save.txt', 'w+', encoding='utf-8') as f: f.write("排名,学校,省份,总分\n") f.close() uinfo = [] url = 'https://www.shanghairanking.cn/rankings/bcur/2021' html = getHTMLText(url) fillUnivList(uinfo, html) printUnivList(uinfo, 20)main()
程序运行结果如下:
看完上述内容,你们对怎么用python爬取中国大学排名网站排名信息有进一步的了解吗?如果还想了解更多知识或者相关内容,请关注行业资讯频道,感谢大家的支持。
信息
大学
网站
中国
中国大学
内容
学校
总分
省份
程序
名称
代码
文件
文本
更多
爬虫
知识
篇文章
结果
网络
数据库的安全要保护哪些东西
数据库安全各自的含义是什么
生产安全数据库录入
数据库的安全性及管理
数据库安全策略包含哪些
海淀数据库安全审计系统
建立农村房屋安全信息数据库
易用的数据库客户端支持安全管理
连接数据库失败ssl安全错误
数据库的锁怎样保障安全
网络安全小卫士手势舞
软件开发命脉
服务器哪些牌子好
江苏极限网络技术股份
网站 数据库 关系
网络技术基础郑大远程
研招网显示服务器错误
千锋教育网络安全培训怎么样
奇瑞汽车出口数据库
汕头网络安全宣传片
给数据库表增加字段
监听数据库变化
达州网络安全与信息化工作会议
西城区综合网络技术服务优点
唐山网络安全工作会议
海口国产信创服务器
长宁区工业网络技术创新服务
网络技术专业去公安部门
ppas数据库全称
如何检测数据库有数据更新
javah2类似的内存数据库
jva软件开发师
西南科技大学图书馆数据库文献
电力网络安全竞赛获得一等奖
杭州有朋网络技术有限公司 加班
汕头网络安全宣传片
服务器系统管理工具
数据库中的最小数据项是什么
凯成互联网科技
管理员服务器怎么解锁