spark streaming测试之四设置窗口大小接收数据
发表于:2024-09-22 作者:千家信息网编辑
千家信息网最后更新 2024年09月22日,测试思路:首先,使用网络数据发送程序发送数据;然后,运行spark程序;观察效果。说明:1. 这里也需要设置检查点目录2. 这里有四个参数:前两个分别是监听的端口和每隔多少毫秒接收一次数据;第三个参数
千家信息网最后更新 2024年09月22日spark streaming测试之四设置窗口大小接收数据
测试思路:
首先,使用网络数据发送程序发送数据;
然后,运行spark程序;
观察效果。
说明:
1. 这里也需要设置检查点目录
2. 这里有四个参数:
前两个分别是监听的端口和每隔多少毫秒接收一次数据;
第三个参数是接收前多少毫秒的数据;(详细请参见window具体含义)
第四个参数是每隔多少毫秒接收一次数据。
sparkStreamingimport org.apache.log4j.{LoggerLevel}import org.apache.spark.storage.StorageLevelimport org.apache.spark.streaming.{SecondsStreamingContext}import org.apache.spark.{SparkContextSparkConf}import org.apache.spark.streaming.StreamingContext._WindowWordCount { def main(args: Array[]){ Logger.().setLevel(Level.) Logger.().setLevel(Level.) conf = SparkConf().setAppName().setMaster() sc = SparkContext(conf) ssc = StreamingContext(sc()) ssc.checkpoint() val lines = ssc.socketTextStream(args(0),args(1).toInt, StorageLevel.MEMORY_ONLY_SER) words = lines.flatMap(_.split()) //windows operator val wordCounts = words.map(x=>(x,1)).reduceByKeyAndWindow((a:Int,b:Int)=>(a+b), Seconds(args(2).toInt),Seconds(args(3).toInt)) wordCounts.print() ssc.start() ssc.awaitTermination() }}
数据
参数
程序
测试
三个
两个
含义
思路
效果
检查点
目录
端口
网络
检查
监听
观察
运行
大小
数据库的安全要保护哪些东西
数据库安全各自的含义是什么
生产安全数据库录入
数据库的安全性及管理
数据库安全策略包含哪些
海淀数据库安全审计系统
建立农村房屋安全信息数据库
易用的数据库客户端支持安全管理
连接数据库失败ssl安全错误
数据库的锁怎样保障安全
方舟怎样创建和加入本地服务器
web服务器安全的重要性
fifa+数据库
豆奶视频软件开发
软件开发活动策划
数据库dba考试
sql数据库写入慢怎么解决
网络安全创新创业点子
魔兽世界新服务器开始时间
软件开发项目管理质量保证
安全狗可以安装服务器吗
网络安全周2021素材下载
崇明区推广网络安全承诺守信
阿里云学生领取服务器
海康报警服务器管理系统
计算机软件开发文科
中国数据库要多少电
网吧服务器更新游戏
寅子帝国神话服务器叫什么
服务器备份系统
服务器周转车3d图
方舟服务器人物可以下载玩单机吗
网络安全国际博览会开幕式
车载软件开发v模型
仿诈骗网络安全 内容
选煤风险清单和数据库
内蒙古大数据网络技术开发哪家好
专科女生学计算机网络技术
打印数据库中的所有表的名字
腾讯云服务器iis管理器