千家信息网

Linux系统如何安装Kafka

发表于:2024-09-22 作者:千家信息网编辑
千家信息网最后更新 2024年09月22日,小编给大家分享一下Linux系统如何安装Kafka,相信大部分人都还不怎么了解,因此分享这篇文章给大家参考一下,希望大家阅读完这篇文章后大有收获,下面让我们一起去了解一下吧!Kafka是一种高吞吐量的
千家信息网最后更新 2024年09月22日Linux系统如何安装Kafka

小编给大家分享一下Linux系统如何安装Kafka,相信大部分人都还不怎么了解,因此分享这篇文章给大家参考一下,希望大家阅读完这篇文章后大有收获,下面让我们一起去了解一下吧!

Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者在网站中的所有动作流数据。

Kafka简介:

Kafka是一个分布式消息队列。★Kafka对消息保存时根据Topic进行归类,发送消息者称为Producer,消息接受者称为Consumer,此外kafka集群有多个kafka实例组成,每个实例(server)称为broker。无论是kafka集群,还是consumer都依赖于zookeeper集群保存一些meta信息,来保证系统可用性。

Linux系统安装Kafka具体步骤:

Kafka下载 官网下载地址 http://kafka.apache.org/downloads demo用的版本 https://archive.apache.org/dist/kafka/1.0.0/kafka_2.12-1.0.0.tgz

解压到安装目录下 tar -zxvf kafka_2.12-1.0.0.tgz mv kafka_2.12-1 /usr/local/kafka

配置 #创建日志存放目录,默认Kafka运行的时候都会通过log4j打印很多日志文件,比如server.log, controller.log, state-change.log等,而都会将其输出到$KAFKA_HOME/logs目录下,这样不利于线上运维,因为经常容易出现打爆文件系统

 #这里我们把日志目录指向var目录下 cd /var/local mkdir -p kafka-logs  #修改配置文件/opt/kafka/config/server.properties vi /usr/local/kafka/config/server.properties  #主要修改下面几项内容如下:

broker.id=181 delete.topic.enable=true listeners = PLAINTEXT://192.168.0.166:9092 log.dirs=/var/local/kafka-logs zookeeper.connect=127.0.0.1:2181

添加系统环境变量 vi /etc/profile #添加如下内容:

KAFKA_HOME=/usr/local/kafka PATH=KAFKA_HOME/bin export PATH KAFKA_HOME

启动、测试 kafka-server-start.sh /usr/local/kafka/config/server.properties #发送 ./kafka-console-producer.sh –broker-list 192.168.0.166:9092 –topic test1 #接收 ./kafka-console-consumer.sh –zookeeper 192.168.0.166:2181 -topic test1 –from-beginning

开机启动 #在init.d目下创建kafka脚本文件

 cd /etc/rc.d/init.d  touch kafka  vi kafka

#编辑下面内容

#!/bin/bash

#chkconfig:2345 30 80 #description:kafka #processname:kafka export JAVA_HOME=/usr/local/jvm/jdk1.8.0_201 export KAFKA_HOME=/usr/local/kafka case {KAFKA_HOME}/bin/kafka-server-start.sh -daemon {KAFKA_HOME}/bin/kafka-server-stop.sh ;; status) jps ;; restart) {KAFKA_HOME}/bin/kafka-server-start.sh -daemon ${KAFKA_HOME}/config/server.properties ;; *) echo "require start|stop|status|restart" ;; esac #权限

 chmod 755 kafka  #测试一下  service kafka start  #添加到服务列表  chkconfig --add kafka  chkconfig --list  chkconfig kafka on

遇到的坑 Kafka进程总是在启动一段时间后自动停止 使用-daemon守护进程启动 kafka-server-start.sh -daemon /usr/local/kafka/config/server.properties

以上是"Linux系统如何安装Kafka"这篇文章的所有内容,感谢各位的阅读!相信大家都有了一定的了解,希望分享的内容对大家有所帮助,如果还想学习更多知识,欢迎关注行业资讯频道!

系统 内容 消息 目录 文件 日志 篇文章 集群 分布式 实例 进程 测试 配置 不怎么 动作 变量 可用性 吞吐量 地址 多个 数据库的安全要保护哪些东西 数据库安全各自的含义是什么 生产安全数据库录入 数据库的安全性及管理 数据库安全策略包含哪些 海淀数据库安全审计系统 建立农村房屋安全信息数据库 易用的数据库客户端支持安全管理 连接数据库失败ssl安全错误 数据库的锁怎样保障安全 太原市恒速网络技术有限公司 即时聊天软件开发与实现 数据库取出的数据乱码 软件开发过程的心得 导出数据库代码 db2 9.5数据库安装教程 阿里云网络技术有限公司股票 映射管理戴尔服务器 热血航海王服务器忘了怎么办 计算机网络技术教师资格证书 ncbi数据库简介 北大的图书馆数据库能下载书吗 it网络技术工程师面试问题 计算机网络安全的研究和探讨 专业网络技术案例 运维单位的网络安全规定 软件开发投融资创业计划书 服务器共享应用程序 小学观看网络安全警示教育片 服务器内存配置怎么看 大数据网络技术在哪学 数据库管理与开发这门课难吗 服务器pci驱动安装 构筑网络安全屏障 哪个软件可以炒股软件开发 国贸店客户服务器 台服魔兽世界服务器 官渡区服务器回收电话 石家庄佳君网络技术有限公司 开发数据库用户界面技术栈
0