Kafka集群常见的跨网络访问详解
发表于:2025-01-23 作者:千家信息网编辑
千家信息网最后更新 2025年01月23日,场景说明:当客户端与服务端在不同区域(跨防火墙,地址均做了映射)时,客户端访问kafka时会出现获取不到broker的问题,但是网络之间是互通的。但在跨防火墙下,client请求zookeeper的时
千家信息网最后更新 2025年01月23日Kafka集群常见的跨网络访问详解
场景说明:
当客户端与服务端在不同区域(跨防火墙,地址均做了映射)时,客户端访问kafka时会出现获取不到broker的问题,但是网络之间是互通的。但在跨防火墙下,client请求zookeeper的时候,zookeeper返回给client的broker IP是kafka的实际地址,而不是映射地址,因此client会访问失败。
解决方式一、
1、配置文件:listeners=PLAINTEXT://主机名:9092
2、服务端hosts:内网地址 主机名
3、客户端hosts :外网地址 主机名
注意事项:不安全,且配置复杂不统一
解决方式2:(案例)
1、注释:listeners=PLAINTEXT://192.168.111.134:9092
添加:
inter.broker.protocol.version=1.0 log.message.format.version=1.0 advertised.listeners=INSIDE://192.168.111.134:9092,OUTSIDE://node7:9093 listeners=INSIDE://192.168.111.134:9092,OUTSIDE://node7:9093 listener.security.protocol.map=INSIDE:PLAINTEXT,OUTSIDE:PLAINTEXT inter.broker.listener.name=INSIDE
解释:相当于开通2个端口,如果服务器多网卡可以主机名部分填写外网地址。
如果采用统一管理,可采用主机名解析,用nginx代理。
上面的变更,需要3台重启集群重启生效,zk监听地址不一样了,如图(所以要考虑到业务,建议标准化配置)
2、服务端hosts
内网地址 主机名 (这里采用域名解析)
注意:官网也提供了安全加密,非文本加密方式,如果kafka和zk都要求安全,建议参考官网统一配置
官网相关参数解释:
host.name:
advertised.host.name:
advertised.listeners:
listeners:
地址
主机
服务
配置
安全
客户
客户端
方式
统一
建议
防火墙
加密
解释
防火
网络
集群
不同
复杂
业务
之间
数据库的安全要保护哪些东西
数据库安全各自的含义是什么
生产安全数据库录入
数据库的安全性及管理
数据库安全策略包含哪些
海淀数据库安全审计系统
建立农村房屋安全信息数据库
易用的数据库客户端支持安全管理
连接数据库失败ssl安全错误
数据库的锁怎样保障安全
怀旧服哪个区有服务器
布鲁塞尔会议记录软件开发
网络安全黑板报设计感连衣裙
用什么软件开发ipa
aspcms数据库文件
软件开发具体问题
sql数据库定义实验心得
开启本地ftp服务器
关于网络安全的PPT资料
软件开发单片机eda专业
软件开发轻松
网络安全用户实名入网
山西常见软件开发价格表格
江苏北斗授时模块服务器
apm服务器性能管理
3月网络安全措施
崩坏有多少个服务器
php读取数据库6
戴尔刀片服务器如何远程管理
新技术环境下网络安全
幻塔班吉斯06服务器
高校大学生网络安全讲座
数据库该允许为空为什么不能保存
魔兽世界服务器 电信
家庭教育与网络安全视频回放2
岳阳网络安全协会负责人
建立文化资源数据库
网络安全和网络舆情工作
文件传送到服务器上用什么工具好
泰州高防服务器