千家信息网

Storm常见问题及解决方案是什么

发表于:2025-02-08 作者:千家信息网编辑
千家信息网最后更新 2025年02月08日,这篇文章将为大家详细讲解有关Storm常见问题及解决方案是什么,文章内容质量较高,因此小编分享给大家做个参考,希望大家阅读完这篇文章后对相关知识有一定的了解。1、storm集群配置JDK环境变量问题问
千家信息网最后更新 2025年02月08日Storm常见问题及解决方案是什么

这篇文章将为大家详细讲解有关Storm常见问题及解决方案是什么,文章内容质量较高,因此小编分享给大家做个参考,希望大家阅读完这篇文章后对相关知识有一定的了解。

1、storm集群配置JDK环境变量问题

问题分析:在linux系统下配置JDK后一般修改/etc/profile值进行环境变量配置,但是安装storm集群时会出现问题

问题解决:需要在/etc/.bashrc文件中也加入环境变量不然安装的JDK无法使用。

2、supervisor相关问题

1)安装后supervisor名称相同并且启动报错问题

问题分析:supervisor.cji中有行代码如下:

 

此代码是在启动supervisor时会找本机的hostname。

问题解决:修改每天机器的hostname与其相对应即可。

2)启动Supervisor 时,出现java.lang.UnsatisfiedLinkError异常

具体错误信息如下:

启动Supervisor 时,出现java.lang.UnsatisfiedLinkError:/usr/local/lib/libjzmq.so.0.0.0: libzmq.so.1: cannot open shared objectfile: No such file or directory 异常。

问题分析:未找到zmq 动态链接库。

问题解决1:配置环境变量 export LD_LIBRARY_PATH=/usr/local/lib

问题解决2:编辑/etc/ld.so.conf 文件,增加一行:/usr/local/lib,再次执行即可

使用sudo ldconfig 命令,重启Supervisor

3、发布topologies时,序列化log4j.Logger异常

问题分析:日志系统无法正确正确处理序列化操作

问题解决:使用slf4j替换log4j日志jar包处理

4、提交topology时出现如下异常:

Exception in thread "main" java.lang.IllegalArgumentException: xxx host is not set         at backtype.storm.utils.NimbusClient.(NimbusClient.java:30)         at backtype.storm.utils.NimbusClient.getConfiguredClient(NimbusClient.java:17)         at backtype.storm.StormSubmitter.submitJar(StormSubmitter.java:78)         at backtype.storm.StormSubmitter.submitJar(StormSubmitter.java:71)         at backtype.storm.StormSubmitter.submitTopology(StormSubmitter.java:50)

问题分析:启动nimbus没有问题,异常原因是conf_dir路径设置错误

问题解决:修改bin/storm脚本,增加如下代码:

CONF_DIR = STORM_DIR + "/conf"

5、在使用storm0.7一下版本时,时间长会出现outofmenmory

问题分析:低于storm0.7版本的没触发一个tuple会创建一个hashmap存储该tuple所在的消息树结构,长时间会给gc造成巨大的压力导致出现outofmemory

问题解决:升级storm版本即可解决问题。

6、storm连接mysql数据库报异常

连接远程mysql数据库时报如下错误:

message from server:"Host FILTER" is not allowed to connect to this MySQL server

问题分析:可能是没有给其IP访问Mysql数据库权限导致

问题解决:登录mysql数据库,执行如下命令:

grant all on *.* to root@'%' identified by "123456";

此操作是给任意IP地址赋予访问权限(命令中*.*是通配任何IP,可指定IP 用户名:root 密码:123456)

关于Storm常见问题及解决方案是什么就分享到这里了,希望以上内容可以对大家有一定的帮助,可以学到更多知识。如果觉得文章不错,可以把它分享出去让更多的人看到。

问题 分析 变量 数据 数据库 环境 配置 代码 命令 版本 错误 常见 常见问题 方案 解决方案 内容 序列 文件 文章 日志 数据库的安全要保护哪些东西 数据库安全各自的含义是什么 生产安全数据库录入 数据库的安全性及管理 数据库安全策略包含哪些 海淀数据库安全审计系统 建立农村房屋安全信息数据库 易用的数据库客户端支持安全管理 连接数据库失败ssl安全错误 数据库的锁怎样保障安全 网络安全被动防御和主动防御 危害网络安全等后果的 江苏语言情感数据库 gp数据库查询不含字母数据 开放的数据库连接口驱动程序 各数据库执行sql语句的不同 陕西省网络安全与信息安全 南京光学系统设计软件开发公司 关于网络安全的句子或段落 信息网络安全领域的重要性 苹果邮件里的收件服务器怎么设置 跟软件开发团队工作一年感悟 服务器怎么排队 蚌埠麦吉互联网科技有限公司 2017年三级网络技术 文创鑫网络技术有限公司 软件开发功能报价单 软件开发者与商城合作协议 品赢网络技术 本地单机显示服务器维护中 中国电信网络安全为什么重要 密码管理服务器并发 中山专业软件开发平均价格 打印机无线服务器加装 超激斗梦境服务器无法连接 云服务器文件怎么恢复 网络安全解决核心问题 软件开发合同免增值税 网络安全与信息化 期刊 达梦数据库智慧大脑
0