千家信息网

DKhadoop环境的安装配置步骤

发表于:2025-02-05 作者:千家信息网编辑
千家信息网最后更新 2025年02月05日,这篇文章主要讲解了"DKhadoop环境的安装配置步骤",文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着小编的思路慢慢深入,一起来研究和学习"DKhadoop环境的安装配置步骤"吧!1.修改权
千家信息网最后更新 2025年02月05日DKhadoop环境的安装配置步骤

这篇文章主要讲解了"DKhadoop环境的安装配置步骤",文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着小编的思路慢慢深入,一起来研究和学习"DKhadoop环境的安装配置步骤"吧!

1.修改权限

步骤:在准备工作中拷贝安装包DKHPlantform.zip到主节点/root/目录后,解压并修改文件权限(文件所有者可读可写可执行,与文件所有者属于一个用户组的其他用户可读可执行,其他用户组可读可执行)。

命令:

cd /root/

unzip DKHPlantform.zip

chmod -R 755 DKHPlantform

2. 搭建hadoop集群设置SSH免密登录

步骤:

修改主机名 vi /etc/sysconfig/network reboot

(1)修改本机hosts文件,写入对应关系

命令:

vi /etc/hosts

通过按键盘上的insert或是I键进入编辑模式,编辑完成后按一下Esc键然后按一下按Shift+:键,输入wq 后回车就可以保存。输入q!后回车则是放弃保存并退出.

进入编辑模式后,按照规则写入主机与ip的对应关系(主机名称dk41是自己命名的,如下图)例:

192.168.1.41 dk41

192.168.1.42 dk42

192.168.1.43 dk43

编辑完后,保存退出。把对应关系拷到其他两台机器上。

命令:

scp -r /etc/hosts 192.168.1.42:/etc

scp -r /etc/hosts 192.168.1.43:/etc

(2)执行集群之间免密前的准备工作

a)执行sshpass.sh的脚本的时候会去读sshhosts和sshslaves这两个文件,替换sshpass.sh中的master和slave文件。

修改文件sshhosts,输入全部机器的主机名,每行一个主机名(如下图)

命令:

vi /root/DKHPlantform/autossh/sshhosts

通过按键盘上的insert或是I键进入编辑模式,编辑完成后按一下Esc键然后按一下按Shift+:键,输入wq,后回车就可以保存。输入q!后回车则是放弃保存并退出.

修改文件sshslaves,写入除主机名之外的所有机器名(如下图)

命令:

vi /root/DKHPlantform/autossh/sshslaves

通过按键盘上的insert或是I键进入编辑模式,编辑完成后按一下Esc键然后按一下按Shift+:键,输入wq,后回车就可以保存。输入q!后回车则是放弃保存并退出.

b)执行insExpect.sh,系统会装两个rpm包,在执行sshpass.sh的过程中无需再输密码和yes,脚本自动继续执行。

命令:

cd /root/DKHPlantform/autossh

./insExpect.sh

按照提示多次输入yes和密码(如下图)

c)执行changeMaster.sh脚本为了清空/root/.ssh目录下的所有文件(在/root/DKHPlantform/autossh目录下),避免在执行sshpass.sh脚本时产生的新密钥时与旧的密钥发生冲突。

命令:

./changeMaster.sh

按照提示输入(如下图)

(3)执行集群免密(SSH)

a)执行SSH:

命令:

cd /root/

./sshpass.sh 密码

123456为集群密码,根据自己实际情况输入。

b)防止访问服务器时某些服务被拦截,需关闭防火墙。

命令:

cd /root/DKHPlantform/autossh

./offIptables.sh

3.安装双机热备份MySQL

目的:存放Hive的元数据

步骤:

(1)从主节点分发mysql安装目录到第二节点

命令:

scp -r /root/DKHPlantform/mysqlInst/ 192.168.1.42:/root/

(2)主节点执行:

命令:

cd /root/DKHPlantform/mysqlInst/

./mysql.sh 1

ssh前往第二台机器(从节点)并执行:

命令:

cd /root/mysqlInst/

./mysql.sh 2

(3)执行成功之后执行热备份(两台机器上都要执行,两个ip互换,41上写42,42上写41,密码是Mysql的密码为:123456。平台内已经设定好,请勿修改):

命令:

source /etc/profile

./sync.sh 192.168.1.xxx(另一台mysql地址) root 123456

4.创建数据库

步骤:

(1)导入MySQL数据表,只在主节点执行:

命令:

mysql -uroot -p123456 < { 此处为sql文件,主目录下文件: dkh.sql}

如:mysql -uroot -p123456

(2)执行完后查看一下两台mysql的数据表是否存在,从节点查看执行:

命令:

mysql -uroot -p123456
show databases;

感谢各位的阅读,以上就是"DKhadoop环境的安装配置步骤"的内容了,经过本文的学习后,相信大家对DKhadoop环境的安装配置步骤这一问题有了更深刻的体会,具体使用情况还需要大家实践验证。这里是,小编将为大家推送更多相关知识点的文章,欢迎关注!

命令 文件 输入 步骤 节点 主机 密码 机器 目录 环境 配置 数据 模式 脚本 集群 两个 用户 键盘 学习 内容 数据库的安全要保护哪些东西 数据库安全各自的含义是什么 生产安全数据库录入 数据库的安全性及管理 数据库安全策略包含哪些 海淀数据库安全审计系统 建立农村房屋安全信息数据库 易用的数据库客户端支持安全管理 连接数据库失败ssl安全错误 数据库的锁怎样保障安全 郑州互联网科技公司待遇 如何利用服务器建立映射 网络安全与执法升职空间 运筹学图与网络技术 大学生为何增强网络安全意识 数据通信与网络技术教案 关于购买网络安全设备的申请 陕西电视电影视频道网络安全直播 国外封锁对软件开发人员的影响 监控系统登录显示服务器无响应 数据库数据更新的题 山东省浪潮存储服务器销售电话 服务器设置网络 第四代软件开发工具 信息化网络技术专业就业 有没有外文搜索数据库推荐的 实验七 数据库安全性 数据库分片集群 java服务器探针 DM数据库每次密码保存不了 sql数据库测试不成功怎么办 北京蓝海青杨网络技术有限 数据库语句输入外键 医院数据库监控中标公告 服务器下载需要密码 学计算机网络技术专业 ali云技术和数据库 软件开发档案管理规程 宗庆后马化腾服务器什么节目 绍兴直销软件开发培训
0