千家信息网

Hadoop-Centos7安装和Hadoop存储规划的示例分析

发表于:2025-02-04 作者:千家信息网编辑
千家信息网最后更新 2025年02月04日,这篇文章主要介绍Hadoop-Centos7安装和Hadoop存储规划的示例分析,文中介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们一定要看完!一、安装VMware12、CentOS7:1、VM
千家信息网最后更新 2025年02月04日Hadoop-Centos7安装和Hadoop存储规划的示例分析

这篇文章主要介绍Hadoop-Centos7安装和Hadoop存储规划的示例分析,文中介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们一定要看完!

一、安装VMware12、CentOS7:

1、VMware 12 专业版永久许可证密钥:5A02H-AU243-TZJ49-GTC7K-3C61N

2、安装Centos7:

2.1、创建新的虚拟机:典型(推荐)-稍后安装操作系统-Linux(L)-版本CentOS 64位-虚拟机名称:centos64-将虚拟磁盘存储为单个文件-自定义硬件-网络连接:桥接模式-选择ISO镜像:CentOS-7-x86_64

2.2、开启此虚拟机-方向键选择-InstallingCentos7(第一项)-回车-选择English-Next-

设置安装选项:

安装软件选择:

手动分区:

存储规划:/boot : 200M,SWAP : 一般是内存的1~2倍,剩余全部根分区/

设置网络和名称:

开启网络:

设置名称:

2.3、安装完成后重启

2.4、特别注意:安装完成后ifconfig查看网络命令不可用,新版本后没有该命令,可以使用ip addr命令来查看。

如何启用并使用ifconfig命令(服务器可以联网的情况下):

2.4.1、找到哪个包提供了ifconfig命令,输入以下命令:yum provides ifconfig

2.4.2、net-tools包提供了ifconfig命令,安装net-tools包,输入如下命令:yum install net-tools

2.4.3、安装完成后就可以使用ifconfig 命令了。

2.5、网络配置:vim /etc/sysconfig/network-scripts/ifcfg-eno16777736,

配置完成后重启网卡:/etc/init.d/network restart

2.5.1、配置静态IP地址:

/etc/sysconfig/network-scripts

vim ifcfg-eno16777736(名称可能会不同)

重启网卡:

systemctl restart network.service

ip addr

2.6、安装vim:yum install vim-enhanced -y

二、CentOS7系统优化

1、创建hadoop用户

useradd hadoop

echo "hadoop123">

2、查看hadoop用户是否添加成功

su - hadoop

su - hadoop

3、退出,回到root用户

exit

exit

4、查看系统已安装文件

yum grouplist

如果安装过程落了部分包组或或者其他软件安装时没选,在安装后可以按如下方式补上安装时未安装的包组:
yum groupinstall "Compatibility Libraries""Base""Development tools"
yum gruopinstall "debugging Tools""Dial-up Networking Support"
可以通过yum groupinfo 包组查看具体安装的组件。

运行 yum groupinstall "Compatibility libraries"报错:

[root@server1 mnt]# yum groupinstall Compatibility libraries
Loaded plugins: fastestmirror
Loading mirror speeds from cached hostfile
* base: mirrors.btte.net
* extras: mirrors.skyshe.cn
* updates: mirrors.yun-idc.com
Warning: group Compatibility does not exist.
Warning: group libraries does not exist.
Maybe run: yum groups mark install (see man yum)
No packages in any requested group available to install or update

解决方法:

yum clean all 清空信息

yum makecache 创建缓存

sudo yum groups install "Compatibility libraries"

可以通过yum groupinfo 包组查看具体安装的组件。

5、关闭SELINUX:
sed -i 's#SELINUX=enforcing#SELINUX=disabled#g' /etc/selinux/config
setenforce 0
grep SELINUX=disabled /etc/selinux/config

6、查看系统默认运行级别:runlevel

7、查看在3这个运行级别下自动启动了哪些服务

旧指令:

chkconfig

chkconfig --list|grep 3:on

chkconfig --list|grep 3:on | cut -d " " -f1

新指令:

systemctl list-units --type=service

systemctl list-unit-files|grep enabled

systemctl list-unit-files --type=service|grep enabled

8、关闭自动运行服务:

旧指令:

chkconfig network(服务名) off(关闭自动启动)/on(开启自动启动)

新指令:

systemctl disable(关闭自动启动)/enable(开启自动启动) network.service(服务名)

9、设置以下服务自动启动:

crond, ntpdate, lvm2-monitor,blk-availability, rsyslog ,sshd,network

10、关闭防火墙:

查看状态: iptables -L -n

systemctl list-unit-files --type=service|grep enabled

11、权限管理:给hadoop用户提升权限(通过sudo可以执行hadoop用户没有权限执行的命令)

echo 'hadoop ALL=(ALL) NOPASSWD:ALL' >>/etc/sudoers

su - hadoop

sudo -l

sudo su - (不需要密码就可以登录到root用户)

exit

12、增大文件描述符

echo '* - nofile 65535' >> /etc/security/limits.conf

ulimit -a

logout

ulimit -a

这个是全局性的改变,可以登录hadoop用户验证一下:

su - hadoop

ulimit -a

exit

三、vmware克隆虚拟机:

1、管理-克隆-下一步-虚拟机中的当前状态-创建完整克隆-虚拟机名称

2、配置IP地址

3、修改主机名:查看主机名hostname、hostnamectl

第一种:hostname 主机名

hostname 主机名称

这种方式,只能修改临时的主机名,当重启机器后,主机名称又变回来了。

第二种:hostnamectl set-hostname

命令行中输入

hostnamectl set-hostname <主机名>

使用这种方式修改,可以永久性的修改主机名称!

centos6虚拟机eth0无法启动解决:
其实是因为无线网卡和实体线连接电脑使用的虚拟机网卡格式不同。无线网卡使用eth0,实体线使用eth2。
vim /etc/udev/rules.d/70-persistent-ipoib.rules 文档,把对应的eth0网卡配置MAC地址修改为现用的网卡MAC地址,保存退出重启网卡即可,最后重启系统。
重启网卡
/etc/init.d/network restart
rm -f /etc/udev/rules.d/70-persistent-ipoib.rules
cat /etc/sysconfig/network
删除两项ifcfg-eth0的配置,重启系统即可。

以上是"Hadoop-Centos7安装和Hadoop存储规划的示例分析"这篇文章的所有内容,感谢各位的阅读!希望分享的内容对大家有帮助,更多相关知识,欢迎关注行业资讯频道!

0