如何入门ApacheFlink中的Flinksink
发表于:2025-02-03 作者:千家信息网编辑
千家信息网最后更新 2025年02月03日,如何入门ApacheFlink中的Flinksink,相信很多没有经验的人对此束手无策,为此本文总结了问题出现的原因和解决方法,通过这篇文章希望你能解决这个问题。将DataSet中的数据Sink到哪里
千家信息网最后更新 2025年02月03日如何入门ApacheFlink中的Flinksink
如何入门ApacheFlink中的Flinksink,相信很多没有经验的人对此束手无策,为此本文总结了问题出现的原因和解决方法,通过这篇文章希望你能解决这个问题。
将DataSet中的数据Sink到哪里去。使用的是对应的OutPutFormat,也可以使用自定义的sink,有可能写到hbase中,hdfs中。
writeAsText() / TextOutputFormat ,以String的形式写入
writeAsCsv(...) / CsvOutputFormat,以CSV的方式写进去
print() / printToErr() / print(String msg) / printToErr(String msg)以标准输出
writeAsText
object DataSetSinkApp { def main(args: Array[String]): Unit = { val environment = ExecutionEnvironment.getExecutionEnvironment val data = 1.to(10) val text = environment.fromCollection(data) val filePath = "E:/test" text.writeAsText(filePath) environment.execute("DataSetSinkApp") }}
如果E:/test文件或者文件夹存在,将无法执行成功。除非增加一个WriteMode.OVERWRITE
text.writeAsText(filePath, WriteMode.OVERWRITE)
这样就在E盘下新建了一个test文件,内容是1到10。
那么如何保存到文件夹中?
text.writeAsText(filePath, WriteMode.OVERWRITE).setParallelism(2)
设置并行度为2,这样就存到test文件夹下,两个文件1和2
默认情况下,不设置并行度,会把结果写到一个文件中,如果设置并行度,那么每一个并行度都对应一个输出。
Java
public static void main(String[] args) throws Exception { ExecutionEnvironment executionEnvironment = ExecutionEnvironment.getExecutionEnvironment(); Listinfo = new ArrayList<>(); for(int i = 1;i <=10; i++) { info.add(i); } DataSource data1 = executionEnvironment.fromCollection(info); String filePath = "E:/test2"; data1.writeAsText(filePath, FileSystem.WriteMode.OVERWRITE); executionEnvironment.execute("JavaDataSetSinkApp"); }
看完上述内容,你们掌握如何入门ApacheFlink中的Flinksink的方法了吗?如果还想学到更多技能或想了解更多相关内容,欢迎关注行业资讯频道,感谢各位的阅读!
文件
内容
文件夹
方法
更多
问题
输出
成功
束手无策
为此
两个
原因
对此
形式
情况
技能
数据
方式
标准
篇文章
数据库的安全要保护哪些东西
数据库安全各自的含义是什么
生产安全数据库录入
数据库的安全性及管理
数据库安全策略包含哪些
海淀数据库安全审计系统
建立农村房屋安全信息数据库
易用的数据库客户端支持安全管理
连接数据库失败ssl安全错误
数据库的锁怎样保障安全
护苗网络安全知识知多少
网络安全 战争
软件开发方法学生选课系统
衡水的交友软件开发
软件开发驻场价位
惠州网络安全绘画
大学 软件开发 课程设计
穿透网络技术的表现
网络安全机制的4种主要机制
分布式能源网络技术
长城服务器bmc管理口启动
一丹软件开发公司
中外游戏史上的大战官方关服务器
软件开发企业盈利分析
重庆安全服务器散热风扇
mac客户端软件开发
服务器热机备份
vscode 使用数据库
2019年电力网络安全报道
数据库同步文字与格式错误
宽城区通用网络技术排名靠前
原神b服务器是用什么账号登录
海康门禁数据库文件
哈尔滨软件开发学校专科
号码归属地数据库.db
基于新时代网络安全
企业网络安全监控系统
phpcms备份数据库
vfox软件开发
全志科技软件开发