Python怎么获取小米应用商店数据
本篇内容介绍了"Python怎么获取小米应用商店数据"的有关知识，在实际案例的操作过程中，不少人都会遇到这样的困境，接下来就让小编带领大家学习一下如何处理这些情况吧！希望大家仔细阅读，能够学有所成！
前言
小米应用商店给用户发现最好的安卓应用和游戏,安全可靠，可是要下载东西要一个一个地搜索太麻烦了。而且速度不是很快。
今天用多线程爬取小米应用商店的游戏模块。快速获取。
二、项目目标
目标 ：应用分类 - 聊天社交 应用名称， 应用链接，显示在控制台供用户下载。
三、涉及的库和网站
1、网址：百度搜 - 小米应用商店，进入官网。
2、涉及的库：requests、threading 、queue 、json、time
3、软件：PyCharm
四、项目分析
1、确认是否为动态加载。
通过页面局部刷新， 右键查看网页源代码，搜索关键字未搜到 。断定此网站为动态加载网站，需要抓取网络数据包分析。
2、使用chrome浏览器，F12抓取网络数据包。
1）抓取返回json数据的URL地址（Headers中的Request URL）。
http://app.mi.com/categotyAllListApi?page={}&categoryId=2&pageSize=302）查看并分析查询参数（headers中的Query String Parameters）。
page: 1categoryId: 2pageSize: 30
发现只有page再变，0 1 2 3 ... ... ，这样我们就可以通过控制page的直拼接多个返回json数据的URL地址。
五、项目实施
1、我们定义一个class类继承object，然后定义init方法继承self，再定义一个主函数main继承self。准备导入库，url地址和请求头headers。
import requestsfrom threading import Threadfrom queue import Queueimport jsonimport timeclass XiaomiSpider(object):def __init__(self): self.headers = {'User-Agent':'Mozilla/5.0'} self.url = 'http://app.mi.com/categotyAllListApi?page={}&categoryId=15&pageSize=30'def main(self):passif __name__ == '__main__': imageSpider = XiaomiSpider() imageSpider.main()2、定义队列，用来存放URL地址
self.url_queue = Queue()
3、URL入队列
def url_in(self):# 拼接多个URL地址,然后put()到队列中for i in range(67):self.url.format((str(i)))self.url_queue.put(self.url)
4、定义线程事件函数get_page(请求数据)
defget_page(self):# 先get()URL地址,发请求while True:# 当队列不为空时,获取url地址if not self.url_queue.empty(): url = self.url_queue.get() html = requests.get(url,headers=self.headers).textself.parse_page(html)else:break
5、定义函数parse_page 解析json模块，提取应用名称，应用链接内容。
# 解析函数def parse_page(self,html): app_json = json.loads(html)for app in app_json['data']:# 应用名称 name = app['displayName']# 应用链接 link = 'http://app.mi.com/details?id={}'.format(app['packageName']) d = { '名称' : name,'链接' : link } print(d)6、main方法， 定义t_list = [] 存放所有线程的列表。调用get_page多线程爬取。
def main(self):self.url_in()# 存放所有线程的列表 t_list = []for i in range(10): t = Thread(target=self.get_page) t.start() t_list.append(t)
7、for循环遍历列表，统一回收线程。
# 统一回收线程for p in t_list: p.join()
8、统计一下执行时间。
start = time.time()spider = XiaomiSpider()spider.main()end = time.time()print('执行时间:%.2f' % (end-start))六、效果展示
1、运行程序。点击运行，将游戏名称，下载链接，执行时间，显示在控制台。
"Python怎么获取小米应用商店数据"的内容就介绍到这里了，感谢大家的阅读。如果想了解更多行业相关的知识可以关注网站，小编将为大家输出更多高质量的实用文章！
