导航：首页 > 服务器 >

Kafka多线程Consumer的实例代码

发表于：2025-01-27 作者：千家信息网编辑

千家信息网最后更新 2025年01月27日，这篇文章主要介绍"Kafka多线程Consumer的实例代码"，在日常操作中，相信很多人在Kafka多线程Consumer的实例代码问题上存在疑惑，小编查阅了各式资料，整理出简单好用的操作方法，希望对

千家信息网最后更新 2025年01月27日Kafka多线程Consumer的实例代码

这篇文章主要介绍"Kafka多线程Consumer的实例代码"，在日常操作中，相信很多人在Kafka多线程Consumer的实例代码问题上存在疑惑，小编查阅了各式资料，整理出简单好用的操作方法，希望对大家解答"Kafka多线程Consumer的实例代码"的疑惑有所帮助！接下来，请跟着小编一起来学习吧！

多线程示例代码：

这里要根据自身需求开发，我这里只举一个简单的例子，就是几个分区就启动几个consumer，一一对应。
三个类：
Main：
public static void main(String[] args) {

              String bootstrapServers = "kafka01:9092，kafka02:9092";
           String groupId = "test";
         String topic = "testtopic";
              int consumerNum = 3;
               ConsumerGroup cg = new ConsumerGroup(consumerNum,bootstrapServers,groupId,topic);
          cg.execute();
}



import java.util.ArrayList;
import java.util.List;


public class ConsumerGroup {

      private List consumers;

       public ConsumerGroup(int consumerNum,String bootstrapServers,String groupId,String topic){

            consumers = new ArrayList<>(consumerNum);

               for(int i=0;i < consumerNum;i++){
                       ConsumerRunnable ConsumerRunnable = new ConsumerRunnable(bootstrapServers,groupId,topic);
                  consumers.add(ConsumerRunnable);
           }
  }

     public void execute(){

                for(ConsumerRunnable consumerRunnable:consumers){
                  new Thread(consumerRunnable).start();
              }
  }
}



import java.util.Arrays;
import java.util.Properties;

import org.apache.kafka.clients.consumer.ConsumerRecord;
import org.apache.kafka.clients.consumer.ConsumerRecords;
import org.apache.kafka.clients.consumer.KafkaConsumer;

public class ConsumerRunnable implements Runnable{

  private final KafkaConsumer consumer;

    public ConsumerRunnable(String bootstrapServers,String groupId,String topic){

         Properties props = new Properties();
props.put("bootstrap.servers", bootstrapServers);
props.put("group.id", groupId);
props.put("enable.auto.commit", "true");
props.put("auto.commit.interval.ms", "1000");
props.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
props.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
props.put("auto.offset.reset","earliest");
this.consumer = new KafkaConsumer<>(props);
consumer.subscribe(Arrays.asList(topic));
   }

     @Override
  public void run() {
while (true) {
ConsumerRecords records = consumer.poll(10);
for (ConsumerRecord record : records) {
    System.out.printf("offset = %d, key = %s, value = %s%n", record.offset(), record.key(), record.value());
}
}
     }
}