千家信息网

Kafka 1.0.0的安装使用以及命令是什么

发表于:2024-11-20 作者:千家信息网编辑
千家信息网最后更新 2024年11月20日,这篇文章将为大家详细讲解有关Kafka 1.0.0的安装使用以及命令是什么,文章内容质量较高,因此小编分享给大家做个参考,希望大家阅读完这篇文章后对相关知识有一定的了解。0.三台机器 data133,
千家信息网最后更新 2024年11月20日Kafka 1.0.0的安装使用以及命令是什么

这篇文章将为大家详细讲解有关Kafka 1.0.0的安装使用以及命令是什么,文章内容质量较高,因此小编分享给大家做个参考,希望大家阅读完这篇文章后对相关知识有一定的了解。

0.三台机器 data133,data135,data1361.修改配置文件 server.properties         broker.id=1 #全局唯一        log.dirs=/data/kafka/log #kafka存放数据的目录        zookeeper.connect=data135:2181,data133:2181,data136:2181        port=9092        host.name=data136        然后分发到另两台机器        data133:broker.id=2 host.name=data133        data135:broker.id=2 host.name=data135        2.后台2.后台启动kafka server        bin目录下 nohup ./kafka-server-start.sh  ../config/server.properties &3.创建topic         ./kafka-topics.sh --create  --topic  "test1"    --partitions 5  --replication-factor 1  --zookeeper data1334.通过shell脚本生产消费        生产:./kafka-console-producer.sh -topic test --broker-list data133:9092,data135:9092,data136:9092        消费:./kafka-console-consumer.sh --topic test --from-beginning --bootstrap-server data133:90925.显示所有的topic        ./kafka-topics.sh --list   --zookeeper bigdata03        ---------------------------------------------------------------flume整合kafka,flume的配置文件 kafka-dest.conf# Name the components on this agenta1.sources=sr1a1.channels=ch2a1.sinks=si1# Describe/configure the sourcea1.sources.sr1.type=execa1.sources.sr1.command=tail -F /home/ch.loga1.sources.sr1.batchSize=50# Describe the sinka1.sinks.si1.type=org.apache.flume.sink.kafka.KafkaSinka1.sinks.si1.kafka.bootstrap.servers=bigdata01:9092,bigdata02:9092,bigdata03:9092a1.sinks.si1.kafka.topic=test7a1.sinks.si1.flumeBatchSize=100a1.sinks.si1.kafka.producer.acks=1a1.sinks.si1.kafka.producer.partitioner.class=org.apache.kafka.clients.producer.internals.DefaultPartitioner# Use a channel which buffers events in memorya1.channels.ch2.type = memorya1.channels.ch2.capacity = 1000000a1.channels.ch2.transactionCapacity = 1000a1.sources.sr1.channels=ch2a1.sinks.si1.channel=ch2#the command to start a agent#bin/flume-ng agent -n a1 -c conf -f conf/fkafka-dest.conf

关于Kafka 1.0.0的安装使用以及命令是什么就分享到这里了,希望以上内容可以对大家有一定的帮助,可以学到更多知识。如果觉得文章不错,可以把它分享出去让更多的人看到。

0