Storm的安装部署方法
发表于:2024-10-22 作者:千家信息网编辑
千家信息网最后更新 2024年10月22日,这篇文章主要讲解了"Storm的安装部署方法",文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着小编的思路慢慢深入,一起来研究和学习"Storm的安装部署方法"吧!一、storm 的安装在搭建S
千家信息网最后更新 2024年10月22日Storm的安装部署方法修改红色部分的配置文件,端口2181可以保持默认,没有特殊需求不必修改
显示根目录下、文件: ls / 使用 ls 命令来查看当前 ZooKeeper 中所包含的内容
获取文件内容: get /zk 确认 znode 是否包含我们所创建的字符串
tar -xvf zeromq-4.0.4.tar.gz
安装zeromq
./configure
cd jzmq
下载解压文件:
tar -xvf apache-storm-0.9.2-incubating.deploy.tar.gz
########### These MUST be filled in for a storm configuration
1)如果Zookeeper集群使用的不是默认端口,那么还需要storm.zookeeper.port选项。
启动Storm
扩展成一个Strom集群的方法
这篇文章主要讲解了"Storm的安装部署方法",文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着小编的思路慢慢深入,一起来研究和学习"Storm的安装部署方法"吧!
一、storm 的安装
在搭建Storm 集群时,具体分为这么几步:
1、搭建zookeeper集群
2、安装storm 的依赖库
3、下载并解压Storm
4、修改配置文件
5、启动Storm
第一步:搭建zookeeper集群
zookeeper作为storm的管理协调者,zookeeper是必不可少的
拷贝安装包,并解压tar -xvf zookeeper-3.3.6.deploy.tar.gz
修改zookeeper目录下conf中的zoo.cfg文件
dataDir=/home/shaka/zookeeper/zookeeper-3.3.6/data
# the port at which the clients will connect
clientPort=2181
# set logs
dataLogDir=/home/shaka/zookeeper/zookeeper-3.3.6/logs
# set server
server.1=[IP]:4887:5887 //[IP]为本机IP地址
修改红色部分的配置文件,端口2181可以保持默认,没有特殊需求不必修改
修改完成配置文件后,在bin/目录下启动 zkServer.sh start
查看zookeeper状态,在bin/目录下 zkServer.sh status
停止:zkServer.sh stop
重启:zkServer.sh stop
启动客户端:zkCli.sh -server 127.0.0.1:2181
显示根目录下、文件: ls / 使用 ls 命令来查看当前 ZooKeeper 中所包含的内容
显示根目录下、文件: ls2 / 查看当前节点数据并能看到更新次数等数据
创建文件,并设置初始内容: create /zk "test" 创建一个新的 znode节点" zk "以及与它关联的字符串
获取文件内容: get /zk 确认 znode 是否包含我们所创建的字符串
修改文件内容: set /zk "zkbak" 对 zk 所关联的字符串进行设置
删除文件: delete /zk 将刚才创建的 znode 删除
退出客户端: quit
帮助命令: help
第二步:安装Storm依赖库
在/home/user/下创建dependences目录,安装依赖库文件
拷贝zeromq,jzmq到该目录
解压两个文件
tar -xvf zeromq-4.0.4.tar.gz
tar -xvf jzmq.deploy.tar.gz
安装zeromq
cd zeromq-4.0.4
./configure
make (使用ROOT用户执行make命令)
make install (使用ROOT用户执行make命令)
安装jzmq
cd jzmq
./configure
make (使用ROOT用户执行make命令)
make install(使用ROOT用户执行make命令)
第三步:安装Storm
下载解压文件:
tar -xvf apache-storm-0.9.2-incubating.deploy.tar.gz
配置环境变量
vim ~/.bash_profile
追加
export STORM_HOME=/home/user/storm/apache-storm-0.9.2-incubating
export PATH=$PATH:$STORM_HOME/bin
重载环境变量 . ~/.bash_profile
修改配置文件/home/user/storm/conf/storm.yaml
########### These MUST be filled in for a storm configuration
storm.zookeeper.servers:
- "10.2.73.11"
nimbus.host: "10.2.73.11" (地址与zookeeper中配置的保持一致)
storm.local.dir: "/home/shaka/apache-storm-0.9.2-incubating/File_Storm"
1)如果Zookeeper集群使用的不是默认端口,那么还需要storm.zookeeper.port选项。
2) nimbus.host: Storm集群Nimbus机器地址,各个Supervisor工作节点需要知道哪个机器是Nimbus,以便下载Topologies的jars、confs等文件,如:
nimbus.host: "111.222.333.444"
3) storm.local.dir: Nimbus和Supervisor进程用于存储少量状态,如jars、confs等的本地磁盘目录,需要提前创建该目录并给以足够的访问权限。然后在storm.yaml中配置该目录,如:
storm.local.dir: "./workdir"
启动Storm
启动Storm(在此之前要启动Zookeeper)
storm nimbus &
storm supervisor &
storm ui &
启动后可以通过http://{nimbus host}:8080 在windows的浏览器上。
到此storm的安装完成。
一个单节点模式的storm搭建起来了!
启动如果碰到错误:
normclasspath = cygpath if sys.platform == 'cygwin' else identity
原因分析:
python2.4
python2.6
版本问题,需要指定用2.6版本,方法:
rm /usr/bin/python
ln -s /usr/local/bin/python2.6 /usr/bin/python
扩展成一个Strom集群的方法
将shaka/storm下的软件包完全一样的拷贝到新的机器上。
配置文件不需要修改!
因为要共用zk和nimbus
配置环境变量
vim ~/.bash_profile
追加export STORM_HOME=/home/shaka/storm/apache-storm-0.9.2-incubating
export PATH=$PATH:$STORM_HOME/bin
启动supervisro &的方法:
storm supervisor &
启动后可以通过http://{nimbus host}:8080 在windows的刘篮球上。
到此集群版的storm的安装完成。
一个集群模式的storm搭建起来了!
感谢各位的阅读,以上就是"Storm的安装部署方法"的内容了,经过本文的学习后,相信大家对Storm的安装部署方法这一问题有了更深刻的体会,具体使用情况还需要大家实践验证。这里是,小编将为大家推送更多相关知识点的文章,欢迎关注!
文件
配置
目录
集群
方法
内容
命令
用户
节点
变量
地址
字符
字符串
拷贝
机器
环境
学习
可以通过
客户
客户端
数据库的安全要保护哪些东西
数据库安全各自的含义是什么
生产安全数据库录入
数据库的安全性及管理
数据库安全策略包含哪些
海淀数据库安全审计系统
建立农村房屋安全信息数据库
易用的数据库客户端支持安全管理
连接数据库失败ssl安全错误
数据库的锁怎样保障安全
一念间网络技术
软件开发文档归类
四川鲸鱼互联网科技有限公司
sql从数据库取出数据
csgo为什么连接不进服务器
六安电商软件开发公司哪家好
扬州led大屏服务器
淘宝卖家应用软件开发
导航条设计软件开发
信息网络安全展
计算机网络技术网考
软件开发岗位笔试题目
选择数据库安全级别
专业服务好的网络安全型号
深圳泰丰网络技术有限公
软件开发APP里面的链接
软件开发 笔试编程题
服务器双ip
网络安全ppt高中
简单的数据库项目设计
成都软件开发计算机
怎么把java项目布局到服务器
上海聚渂软件开发中心
选网络技术好还是网络应用专业好
2019网络安全提案
数据库处理每天的业务编号
上海水果软件开发
江苏第三方软件开发哪家正规
广州网络技术公司招聘
医学常用病例数据库