flink yarn 部署指南
发表于:2024-10-20 作者:千家信息网编辑
千家信息网最后更新 2024年10月20日,主要分成两部分,yarn的安装与flink的安装, 共3台机器10.10.10.12510.10.10.12610.10.10.127---------------------------------
千家信息网最后更新 2024年10月20日flink yarn 部署指南
主要分成两部分,yarn的安装与flink的安装, 共3台机器
10.10.10.125
10.10.10.126
10.10.10.127
----------------------------------------------------yarn 安装
wget 'http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.8.5/hadoop-2.8.5.tar.gz'tar -zxvf hadoop-2.8.5.tar.gz -C /home/zr/hadoop/vim /etc/profileexport HADOOP_HOME=/home/zr/hadoop/hadoop-2.8.5export PATH=$HADOOP_HOME/bin:$PATHsource /etc/profilevim /etc/sysconfig/network host名千万不要搞成下划线 否则就等着完蛋吧HOSTNAME=flink125(不同的机器配置不同)vim /etc/hosts10.10.10.125 flink12510.10.10.126 flink12610.10.10.127 flink127vim yarn-site.xml 增加以下内容yarn.nodemanager.aux-services mapreduce_shuffle yarn.nodemanager.aux-services.mapreduce.shuffle.class org.apache.hadoop.mapred.ShuffleHandler yarn.resourcemanager.hostname flink125 yarn.resourcemanager.am.max-attempts 4 The maximum number of application master execution attempts yarn.nodemanager.vmem-check-enabled false vi etc/hadoop/core-site.xml 增加以下内容fs.default.name hdfs://flink125:9000 vi etc/hadoop/hdfs-site.xml 增加以下内容dfs.namenode.name.dir file:///data/hadoop/storage/hdfs/name dfs.datanode.data.dir file:///data/hadoop/storage/hdfs/data $ vi etc/hadoop/mapred-site.xml 增加以下内容mapreduce.framework.name yarn dfs.replication 2 vi slaves 增加以下内容flink126flink127vim hadoop/etc/hadoop/hdoop-env.sh将语句 export JAVA_HOME=$JAVA_HOME修改为 export JAVA_HOME=/usr/java/jdk1.8.0_101
以上操作都是在三台机器上执行
下面是免登操作
1 在125机器上执行
rm -r ~/.ssh ssh-keygen scp ~/.ssh/id_rsa.pub 126,127 机器上
2 在126 127上分别执行
cat id_rsa.pub>>.ssh/authorized_keys
最后在125上执行以下操作
启动hadoopstart-dfs.sh启动yarnstart-yarn.sh
----------------------------------------------------yarn 配置完毕
------------------------------------------------------flink 安装
wget 'http://mirrors.tuna.tsinghua.edu.cn/apache/flink/flink-1.7.2/flink-1.7.2-bin-hadoop28-scala_2.12.tgz'tar zxvf flink-1.7.2-bin-hadoop28-scala_2.12.tgz -C /home/zr/module/修改flink/conf/masters,slaves,flink-conf.yamlvi mastersflink125:8081flink126:8081vi slavesflink126flink127vi flink-conf.yamltaskmanager.numberOfTaskSlots:2jobmanager.rpc.address: flink125sudo vi /etc/profileexport FLINK_HOME=/opt/module/flink-1.6.1export PATH=$PATH:$FLINK_HOME/binsource /etc/profileconf/flink-conf.yamlhigh-availability: zookeeperhigh-availability.zookeeper.quorum: flink125:2181,flink126:2181,flink127:2181high-availability.storageDir: hdfs:///home/zr/flink/recoveryhigh-availability.zookeeper.path.root: /home/zr/flinkyarn.application-attempts: 4zoo.cfgserver.1=flink125:2888:3888server.2=flink126:2888:3888server.3=flink127:2888:3888以上操作都在三台机器上执行
--------------------------------------------flink 配置完毕
在125机器上执行:
启动ZooKeeper仲裁./start-zookeeper-quorum.sh启动flink./flink run -m yarn-cluster -yn 2 -ytm 2048 /home/zr/module/flink-1.7.2/examples/zr/flink-data-sync-0.1.jar
参考文章
https://www.cnblogs.com/frankdeng/p/9400627.html
机器
内容
配置
不同
三台
下划线
文章
是在
语句
部分
仲裁
参考
指南
数据库的安全要保护哪些东西
数据库安全各自的含义是什么
生产安全数据库录入
数据库的安全性及管理
数据库安全策略包含哪些
海淀数据库安全审计系统
建立农村房屋安全信息数据库
易用的数据库客户端支持安全管理
连接数据库失败ssl安全错误
数据库的锁怎样保障安全
怎样保护公司网络安全
为什么根服务器美国控制
酷骑互联网科技
手机上如何制作连接数据库
会考网络技术评价
服务器多个文件同时登录
定制网络技术服务哪个正规
福州康为网络技术有限公司b轮
直播软件开发系统怎么解决
网络安全动画视频封面
以网络技术为代表的科学技术
电脑文件服务器管理共享权限
电脑网络安全配置
数据库营销的方法应用
服务器磁盘阵列位置放错会怎样
护苗网络安全知识答题
美国国家网络技术安全处
光盘数据库检索方法
数据库等值连接怎么加条件
数据库四种故障哪种
软件开发工程师应届生笔试
如何推荐自己软件开发公司
ssm显示图片从数据库
重庆省考报名数据库
达梦数据库备份配置
昆明高密度存储服务器
互联网北京科技有限公司
golang内嵌式数据库
苏州智能刀片服务器供应
网络安全警察动画图片大全