千家信息网

千家信息网

请输入关键字词

热门搜索排行

最新搜索排行

导航：首页 > 开发技术 >

怎么使用python爬取知乎热榜Top50数据

发表于：2024-11-14 作者：千家信息网编辑

千家信息网最后更新 2024年11月14日，这篇文章将为大家详细讲解有关怎么使用python爬取知乎热榜Top50数据，小编觉得挺实用的，因此分享给大家做个参考，希望大家阅读完这篇文章后可以有所收获。1、导入第三方库import urllib.

千家信息网最后更新 2024年11月14日怎么使用python爬取知乎热榜Top50数据

这篇文章将为大家详细讲解有关怎么使用python爬取知乎热榜Top50数据，小编觉得挺实用的，因此分享给大家做个参考，希望大家阅读完这篇文章后可以有所收获。

1、导入第三方库

import urllib.request,urllib.error  #请求网页from bs4 import BeautifulSoup  # 解析数据import sqlite3  # 导入数据库import re # 正则表达式import time # 获取当前时间

2、程序的主函数

def main():    # 声明爬取网页    baseurl = "https://www.zhihu.com/hot"    # 爬取网页    datalist = getData(baseurl)    #保存数据    dbname = time.strftime("%Y-%m-%d", time.localtime()) #     dbpath = "zhihuTop50  " + dbname    saveData(datalist,dbpath)

3、正则表达式匹配数据

#正则表达式findlink = re.compile(r'(.*?)

') #问题排名findtitle = re.compile(r'

(.*?)

') #问题标题findintroduce = re.compile(r'

') #简要介绍findscore = re.compile(r'

') #热门评分findimg = re.compile(r'

') #文章配图

4、程序运行结果

5、程序源代码

import urllib.request,urllib.errorfrom bs4 import BeautifulSoupimport sqlite3import reimport timedef main():    # 声明爬取网页    baseurl = "https://www.zhihu.com/hot"    # 爬取网页    datalist = getData(baseurl)    #保存数据    dbname = time.strftime("%Y-%m-%d", time.localtime())    dbpath = "zhihuTop50  " + dbname    saveData(datalist,dbpath)    print()#正则表达式findlink = re.compile(r'(.*?)

') #问题排名findtitle = re.compile(r'

(.*?)

') #问题标题findintroduce = re.compile(r'

') #简要介绍findscore = re.compile(r'

') #热门评分findimg = re.compile(r'

') #文章配图def getData(baseurl): datalist = [] html = askURL(baseurl) # print(html) soup = BeautifulSoup(html,'html.parser') for item in soup.find_all('a',class_="css-hi1lih"): # print(item) data = [] item = str(item) Id = re.findall(findid,item) if(len(Id) == 0): Id = re.findall(r'

',item)[0] else: Id = Id[0] data.append(Id) # print(Id) Link = re.findall(findlink,item)[0] data.append(Link) # print(Link) Title = re.findall(findtitle,item)[0] data.append(Title) # print(Title) Introduce = re.findall(findintroduce,item) if(len(Introduce) == 0): Introduce = " " else:Introduce = Introduce[0] data.append(Introduce) # print(Introduce) Score = re.findall(findscore,item)[0] data.append(Score) # print(Score) Img = re.findall(findimg,item) if (len(Img) == 0): Img = " " else: Img = Img[0] data.append(Img) # print(Img) datalist.append(data) return datalistdef askURL(baseurl): # 设置请求头 head = { # "User-Agent": "Mozilla/5.0 (Windows NT 10.0;Win64;x64) AppleWebKit/537.36(KHTML, likeGecko) Chrome/80.0.3987.163Safari/537.36" "User-Agent": "Mozilla / 5.0(iPhone;CPUiPhoneOS13_2_3likeMacOSX) AppleWebKit / 605.1.15(KHTML, likeGecko) Version / 13.0.3Mobile / 15E148Safari / 604.1" } request = urllib.request.Request(baseurl, headers=head) html = "" try: response = urllib.request.urlopen(request) html = response.read().decode("utf-8") # print(html) except urllib.error.URLError as e: if hasattr(e, "code"): print(e.code) if hasattr(e, "reason"): print(e.reason) return html print()def saveData(datalist,dbpath): init_db(dbpath) conn = sqlite3.connect(dbpath) cur = conn.cursor() for data in datalist: sql = ''' insert into Top50( id,info_link,title,introduce,score,img) values("%s","%s","%s","%s","%s","%s")'''%(data[0],data[1],data[2],data[3],data[4],data[5]) print(sql) cur.execute(sql) conn.commit() cur.close() conn.close()def init_db(dbpath): sql = ''' create table Top50 ( id integer primary key autoincrement, info_link text, title text, introduce text, score text, img text ) ''' conn = sqlite3.connect(dbpath) cursor = conn.cursor() cursor.execute(sql) conn.commit() conn.close()if __name__ =="__main__": main()

关于"怎么使用python爬取知乎热榜Top50数据"这篇文章就分享到这里了，希望以上内容可以对大家有一定的帮助，使各位可以学到更多知识，如果觉得文章不错，请把它分享出去让更多的人看到。

数据问题网页正则表达式文章程序篇文章热门更多标题简要链接评分不错实用内容函数数据库时间数据库的安全要保护哪些东西数据库安全各自的含义是什么生产安全数据库录入数据库的安全性及管理数据库安全策略包含哪些海淀数据库安全审计系统建立农村房屋安全信息数据库易用的数据库客户端支持安全管理连接数据库失败ssl安全错误数据库的锁怎样保障安全网站数据库版本能随便改吗查询数据库为啥加上反单引号汽修数据库软件网络安全问题肌肤屏障哈利波特俩个服务器可以一起玩吗康明斯与软件开发为啥学软件开发钢铁企业的软件开发岗位好吗常用ftp服务器切实提高网络安全防范技能信息网络安全回报 socket 服务器 2019两会期间网络安全一次事务开启几个数据库连接服务器部署svn与管理使用网络安全金融主题日活动江苏媒体网络技术服务成本网络安全学院武汉大学自贡浩海软件开发公司腾讯网络安全厉害吗济南市浪潮服务器经销电话多少上杭县大唐网络技术服务部我的世界玩家服务器有趣的小游戏服务器网卡不好用怎么办数据库如何筛选字段重复数据方舟服务器管理密码怎么用广电网络安全培训机构软件开发参与者保密如何理解和防范网络安全心得北京网络安全功维

相关文章