千家信息网

kafka1.0.0集群搭建

发表于:2024-09-22 作者:千家信息网编辑
千家信息网最后更新 2024年09月22日,一、环境准备1、软件zookeeper3.4.11 https://www.apache.org/dyn/closer.cgi/zookeeper/kafka1.0.0 https://www.apa
千家信息网最后更新 2024年09月22日kafka1.0.0集群搭建

一、环境准备
1、软件
zookeeper3.4.11 https://www.apache.org/dyn/closer.cgi/zookeeper/
kafka1.0.0 https://www.apache.org/dyn/closer.cgi?path=/kafka/1.0.0/kafka_2.11-1.0.0.tgz
java8 http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
2、硬件
✔ 机器:10.205.104.55
✔ 机器:10.205.102.52
✔ 机器:10.205.105.33
二、安装
jdk安装略
1、统一目录/opt

2、安装zookeeper(三台机器同样操作)
cp conf/zoo_sample.cfg zoo.cfg
grep ^[^#] conf/zoo.cfg

添加机器id到 dataDir=/opt/zookeeper-3.4.11/data目录下的myid文件中
机器:10.205.104.55 写1
机器:10.205.102.52 写2
机器:10.205.105.33 写3

每台机器都是同样的配置
启动zookeeper
bin/zkServer.sh start
检验

3、安装kafka(每台机器broker.id不同。这里依此是0,1,2)
每台机器依此配置

启动kafka(每台都启动)
bin/kafka-server-start.sh config/server-1.properties &
校验

创建topic
bin/kafka-topics.sh --create --zookeeper 10.205.104.55:2181 --replication-factor 3 --partitions 1 --topic my-replicated-topic
查看topic信息
bin/kafka-topics.sh --describe --zookeeper 10.205.104.55:2181 --topic my-replicated-topic

推送信息
bin/kafka-console-producer.sh --broker-list 10.205.104.55:9092 --topic my-replicated-topic
消费信息
bin/kafka-console-consumer.sh --bootstrap-server 10.205.104.55:9092 --from-beginning --topic my-replicated-topic
安装完毕
最后送上优化文章:kafka参数配置优化

0