Flink怎么用
发表于:2024-11-11 作者:千家信息网编辑
千家信息网最后更新 2024年11月11日,这篇文章将为大家详细讲解有关Flink怎么用,小编觉得挺实用的,因此分享给大家做个参考,希望大家阅读完这篇文章后可以有所收获。Flink安装准备Flink运行支持 Linux、苹果、Windows 主
千家信息网最后更新 2024年11月11日Flink怎么用
这篇文章将为大家详细讲解有关Flink怎么用,小编觉得挺实用的,因此分享给大家做个参考,希望大家阅读完这篇文章后可以有所收获。
Flink安装准备
Flink运行支持 Linux、苹果、Windows 主流平台。不过最好还是使用 Linux。下面给出安装前的准备:
安装 Jdk1.7.X 或者以上的版本
在 Flink 官网下载对应 Hadoop 预编译版本
将预编译版本解压,进入解压缩文件,为了方便,后文统一称此目录为:FLINK_HOME。
开始安装
单机快速尝试
单机尝试非常简单,直接执行命令:
Linux用户:
sh bin/start-local.sh
Windows用户,在命令窗户输入:
bin\start-local.bat
等待其出现如下提示之后:
D:\Java\flink\flink-0.10.1>bin\start-local.batStarting Flink job manager. Webinterface by default on http://localhost:8081/.Don't close this batch window. Stop job manager by pressing Ctrl+C.
在浏览器中输入:http://localhost:8081/,Flink默认监听8081端口,防止其他进程占用此端口。此时出现下面的管理界面:
可以发现这个界面和 Spark 的管理界面的逻辑差不多,主要是管理正在运行的Job,已经完成的 Job,以及Task 管理和 Job 管理,Task 应该是管理 Job 的,以后再仔细分析里面的逻辑。
跑第一个例子
下面迫不及待先来跑一个分布式系统最经典的例子:WordCount,下面以 FLINK_HOME 的 README.txt 文件作为示例文件,测试 WordCount 程序,在 Windows 上面运行代码以及运行过程如下图:
D:\Java\flink\flink-0.10.1>bin\flink.bat run .\examples\WordCount.jar file:/D:/Java/flink/flink-0.10.1/README.txt file:/D:/Java/flink/flink-0.10.1/wordcount-result.txtlog4j:WARN No appenders could be found for logger (org.apache.hadoop.metrics2.lib.MutableMetricsFactory).log4j:WARN Please initialize the log4j system properly.log4j:WARN See http://logging.apache.org/log4j/1.2/faq.html#noconfig for more info.01/15/2016 16:30:51 Job execution switched to status RUNNING.01/15/2016 16:30:51 CHAIN DataSource (at getTextDataSet(WordCount.java:142)(org.apache.flink.api.java.io.TextInputFormat)) -> FlatMap (FlatMap at main(WordCount.java:69)) -> Combine(SUM(1), at main(WordCount.java:72)(1/1) switched to SCHEDULED01/15/2016 16:30:51 CHAIN DataSource (at getTextDataSet(WordCount.java:142)(org.apache.flink.api.java.io.TextInputFormat)) -> FlatMap (FlatMap at main(WordCount.java:69)) -> Combine(SUM(1), at main(WordCount.java:72)(1/1) switched to DEPLOYING01/15/2016 16:30:52 CHAIN DataSource (at getTextDataSet(WordCount.java:142)(org.apache.flink.api.java.io.TextInputFormat)) -> FlatMap (FlatMap at main(WordCount.java:69)) -> Combine(SUM(1), at main(WordCount.java:72)(1/1) switched to RUNNING01/15/2016 16:30:52 Reduce (SUM(1), at main(WordCount.java:72)(1/1) switched to SCHEDULED01/15/2016 16:30:52 Reduce (SUM(1), at main(WordCount.java:72)(1/1) switched to DEPLOYING01/15/2016 16:30:52 CHAIN DataSource (at getTextDataSet(WordCount.java:142)(org.apache.flink.api.java.io.TextInputFormat)) -> FlatMap (FlatMap at main(WordCount.java:69)) -> Combine(SUM(1), at main(WordCount.java:72)(1/1) switched to FINISHED01/15/2016 16:30:52 Reduce (SUM(1), at main(WordCount.java:72)(1/1) switched to RUNNING01/15/2016 16:30:53 DataSink (CsvOutputFormat (path: file:/D:/Java/flink/flink-0.10.1/wordcount-result.txt, delimiter: ))(1/1) switched to SCHEDULED01/15/2016 16:30:53 DataSink (CsvOutputFormat (path: file:/D:/Java/flink/flink-0.10.1/wordcount-result.txt, delimiter: ))(1/1) switched to DEPLOYING01/15/2016 16:30:53 Reduce (SUM(1), at main(WordCount.java:72)(1/1) switched to FINISHED01/15/2016 16:30:53 DataSink (CsvOutputFormat (path: file:/D:/Java/flink/flink-0.10.1/wordcount-result.txt, delimiter: ))(1/1) switched to RUNNING01/15/2016 16:30:53 DataSink (CsvOutputFormat (path: file:/D:/Java/flink/flink-0.10.1/wordcount-result.txt, delimiter: ))(1/1) switched to FINISHED01/15/2016 16:30:53 Job execution switched to status FINISHED.
可以看到输出日志非常详细,很方便就清楚整个运行流程,得到输出文件 wordcount-result.txt 前面10条内容如下 :
1 113 15d002 1740 1about 1account 1administration 1algorithms 1and 7another 1any 2
关于"Flink怎么用"这篇文章就分享到这里了,希望以上内容可以对大家有一定的帮助,使各位可以学到更多知识,如果觉得文章不错,请把它分享出去让更多的人看到。
管理
运行
文件
版本
篇文章
例子
内容
单机
命令
更多
用户
界面
端口
逻辑
面的
准备
尝试
编译
输入
输出
数据库的安全要保护哪些东西
数据库安全各自的含义是什么
生产安全数据库录入
数据库的安全性及管理
数据库安全策略包含哪些
海淀数据库安全审计系统
建立农村房屋安全信息数据库
易用的数据库客户端支持安全管理
连接数据库失败ssl安全错误
数据库的锁怎样保障安全
可以访问的数据库
吉林省软件开发系统品牌
局域网服务器管理工具
反恐精英为什么进不了服务器
拼多多软件开发流程
人民银行数据库更改信息
杭州达内软件开发
80wlk数据库dvg
亚圣科技互联网规划师
浙江现代软件开发检测
国家对网络安全专业重视吗
数据库安装包可以放在目录里吗
数据库怎么进行关联查询
爱如生数据库怎么下载
网络安全检查百度百科
mongodb云数据库
四维星软件开发
南京中兴软件开发工资
国家安全层面的网络安全
湖南省app软件开发学费多少
JSP实现学生选课数据库
深圳运维服务软件开发定制
access数据库最后一行
数据库字段名称是什么意思
苹果游戏和安卓服务器同步
汽车企业网络安全
旅行订票软件开发
数据库安装包可以放在目录里吗
网络安全宣传教育主题班会
创建数据库索引