spark streaming测试之四设置窗口大小接收数据
发表于:2025-01-22 作者:千家信息网编辑
千家信息网最后更新 2025年01月22日,测试思路:首先,使用网络数据发送程序发送数据;然后,运行spark程序;观察效果。说明:1. 这里也需要设置检查点目录2. 这里有四个参数:前两个分别是监听的端口和每隔多少毫秒接收一次数据;第三个参数
千家信息网最后更新 2025年01月22日spark streaming测试之四设置窗口大小接收数据
测试思路:
首先,使用网络数据发送程序发送数据;
然后,运行spark程序;
观察效果。
说明:
1. 这里也需要设置检查点目录
2. 这里有四个参数:
前两个分别是监听的端口和每隔多少毫秒接收一次数据;
第三个参数是接收前多少毫秒的数据;(详细请参见window具体含义)
第四个参数是每隔多少毫秒接收一次数据。
sparkStreamingimport org.apache.log4j.{LoggerLevel}import org.apache.spark.storage.StorageLevelimport org.apache.spark.streaming.{SecondsStreamingContext}import org.apache.spark.{SparkContextSparkConf}import org.apache.spark.streaming.StreamingContext._WindowWordCount { def main(args: Array[]){ Logger.().setLevel(Level.) Logger.().setLevel(Level.) conf = SparkConf().setAppName().setMaster() sc = SparkContext(conf) ssc = StreamingContext(sc()) ssc.checkpoint() val lines = ssc.socketTextStream(args(0),args(1).toInt, StorageLevel.MEMORY_ONLY_SER) words = lines.flatMap(_.split()) //windows operator val wordCounts = words.map(x=>(x,1)).reduceByKeyAndWindow((a:Int,b:Int)=>(a+b), Seconds(args(2).toInt),Seconds(args(3).toInt)) wordCounts.print() ssc.start() ssc.awaitTermination() }}
数据
参数
程序
测试
三个
两个
含义
思路
效果
检查点
目录
端口
网络
检查
监听
观察
运行
大小
数据库的安全要保护哪些东西
数据库安全各自的含义是什么
生产安全数据库录入
数据库的安全性及管理
数据库安全策略包含哪些
海淀数据库安全审计系统
建立农村房屋安全信息数据库
易用的数据库客户端支持安全管理
连接数据库失败ssl安全错误
数据库的锁怎样保障安全
吉大有没有网络安全导师
山西通讯软件开发应用
魔域之行服务器
博信网络技术
网络安全为人民创意作品
西城区品牌软件开发价格优惠
vpn服务器 网对网
数据库实验报告中实验原理
信阳平桥网络安全
hbase数据库基本操作
企业开展网络安全演练报告
公安在网络安全方面职责
联想定制服务器主板
陕交院计算机网络技术李龙
比威网络技术有限公司王华
软件开发或者科技制造是啥专业
江西营销软件开发价格
做手机软件开发的前景
人工智能与网络安全结束语
拜登的网络安全
开放无线网络安全吗
昆明互联网科技产业园
地理信息网络安全措施
vpn服务器 网对网
代号探戈服务器核心打开不了
2018互联网科技峰会
网络安全主题班会文稿
考三级网络技术用书
软件开发人员奖金
浪潮服务器管理系统登录