Python怎么使用MapReduce编程模型统计销量
发表于:2024-09-27 作者:千家信息网编辑
千家信息网最后更新 2024年09月27日,这篇文章主要介绍了Python怎么使用MapReduce编程模型统计销量的相关知识,内容详细易懂,操作简单快捷,具有一定借鉴价值,相信大家阅读完这篇Python怎么使用MapReduce编程模型统计销
千家信息网最后更新 2024年09月27日Python怎么使用MapReduce编程模型统计销量
这篇文章主要介绍了Python怎么使用MapReduce编程模型统计销量的相关知识,内容详细易懂,操作简单快捷,具有一定借鉴价值,相信大家阅读完这篇Python怎么使用MapReduce编程模型统计销量文章都会有所收获,下面我们一起来看看吧。
MapReduce是一种编程模型,用于大规模数据集(大于1TB)的并行运算。概念"Map(映射)"和"Reduce(归约)",是它们的主要思想,都是从函数式编程语言里借来的,还有从矢量编程语言里借来的特性。它极大地方便了编程人员在不会分布式并行编程的情况下,将自己的程序运行在分布式系统上。 当前的软件实现是指定一个Map(映射)函数,用来把一组键值对映射成一组新的键值对,指定并发的Reduce(归约)函数,用来保证所有映射的键值对中的每一个共享相同的键组。
下面就通过手动实现MapReduce编码统计销售数量的例子来模拟。
1、生成模拟数据
#!/usr/bin/python# -*- coding: utf-8 -*-import random# 模拟商品stocks = ["HUAWEI Mate40","Apple iphone13","Apple MacBook Pro 14","ThinkBook 14p","RedmiBook Pro14","飞鹤星飞帆幼儿奶粉","爱他美 幼儿奶粉","李宁运动男卫裤","小米踏步机椭圆机","欧莱雅面膜","御泥坊面膜","欧莱雅男士套装","金六福白酒","牛栏山42度","茅台飞天"]# 销售订单sales_list = list()# 生成100个买家订单,每个订单三个商品for i in range(100): sstocks = list() for j in range(3): sstocks.append(stocks[random.randint(0,14)]) a = "买家" + str(i+1) + ":" + ",".join(sstocks) print(a)
2、mapper实现
将第一步的结果作为第二步的输入。
#!/usr/bin/python# -*- coding: utf-8 -*-import sys#从控制台中读取数据,循环发送每行数据for line in sys.stdin: #对订单进行拆分 orders = line.strip().split(":") if len(orders) == 2: #对订单中的商品进行拆分 stocks = orders[1].split(",") for stock in stocks: #将每一个商品作为key,value进行输出 print('%s,%s' % (stock,1))
3、reducer实现
将第二步的结果作为第三步的输入。
#!/usr/bin/python# -*- coding: utf-8 -*-import sys# 创建一个空的字典用来每一个商品的销售数据stock_dict = dict()for line in sys.stdin: if len(line.strip()) >= 1: # 拆分每一行的商品,销量 stock, sales = line.split(',') # 判断当前商品是否在字典中有存放 if stock in stock_dict: # 如果有,把字典中的商品和销量取出来,追加当前销量再放入 stock_dict[stock] = stock_dict[stock] + int(sales) else: # 如果没有,直接把商品和销量数据放入字典中 stock_dict[stock] = int(sales)# 遍历字典列表,获取每一个商品的销量for stock, sales in stock_dict.items(): print('%s\t%s' % (stock, sales))
关于"Python怎么使用MapReduce编程模型统计销量"这篇文章的内容就介绍到这里,感谢各位的阅读!相信大家对"Python怎么使用MapReduce编程模型统计销量"知识都有一定的了解,大家如果还想学习更多知识,欢迎关注行业资讯频道。
商品
销量
编程
数据
模型
统计
字典
订单
函数
知识
utf-8
销售
买家
内容
分布式
奶粉
幼儿
篇文章
结果
编程语言
数据库的安全要保护哪些东西
数据库安全各自的含义是什么
生产安全数据库录入
数据库的安全性及管理
数据库安全策略包含哪些
海淀数据库安全审计系统
建立农村房屋安全信息数据库
易用的数据库客户端支持安全管理
连接数据库失败ssl安全错误
数据库的锁怎样保障安全
虹口区推广软件开发问答知识
unity游戏服务器
天津潮流软件开发品质保障
紫光恒悦服务器拆解
网络安全冒充
手机卡被国家网络安全
雷石柏云服务器年费
虹口区网络技术开发大概费用
东营联想服务器配件总代理
表格中如何导入表格数据库
网络技术分享会
很忙的软件开发公司
网络安全小白要看的书
网络安全专家前100
促进网络安全和信息化工作的措施
数据库 大型 中型 小型
netty服务器
武汉移动网络技术岗
软件开发去美国
江苏极光网络技术股权
联合致盈网络技术(北京)
软件开发项目有补助吗
软件开发企业 存货
实验十数据库的安全机制管理
DSP软件开发培训公司
2020年网络安全企业排行
网页数据库管理工具 java
okhttp 服务器
数据库 二次开发
网络安全行为知识题