使用ceph-deploy搭建三节点ceph集群

本文参照臧学雪园老师的Ceph基础篇视频教程加以归纳整理，再次感谢臧雪园老师。
基础环境的准备
实验拓扑图：

首先准备基础环境，因为我的笔记本电脑内存只有4G,所以三台虚拟机全部使用最小安装。

ceph2：192.168.6.145   每台主机准备四块磁盘，sda作为系统盘，其它三块作为ceph的OSD服务磁盘使用ceph3：192.168.6.146ceph4：192.168.6.147systemctl stop firewalld           systemctl disable firewalld     //关闭防火墙并设置开机不启动vim /etc/selimux/configselinux=disabled                //更改selinux的模式  hostnamectl set-hostname ceph2   //三台主机名分别设置为ceph2-3,注意这里使用短主机名

然后准备安装ceph集群的环境变量

以下配置三台机器都需要设置vim /openrc                  //编辑一个文本export username="ceph-admin"     //安装时使用ceph-admin一般用户安装，这里设置一个变量方便后面调用    export passwd="ceph-admin"         export node1="ceph2"                   //设置主机名的环境变量export node2="ceph3"export node3="ceph4"export node1_ip="192.168.6.145"   //设置主机ip地址的环境变量export node2_ip="192.168.6.146"export node3_ip="192.168.6.147"下载ceph的rpm源wget -O /etc/yum.repos.d/ceph.repo https://raw.githubusercontent.com/aishangwei/ceph-demo/master/ceph-deploy/ceph.repo配置ntpyum install -y ntp ntpdatentpdate cn.ntp.org.cnsystemctl restart ntpdsystemctl enable ntpdsystemctl enable ntpdate创建部署用户useradd  ${username}       //创建ceph-admin用户，用于集群部署echo "${passwd}"  | passwd --stdin ${username}echo "${username} ALL = (root) NOPASSWD:ALL"  | sudo tee /etc/sudoers.d/ceph-admin  //设置ceph-admin执行特殊命令时的sudo权限chmod 0440  /etc/sudoers.d/ceph-admin   更该文件权限配置三台主机的主机名解析vim /etc/hosts192.168.6.145    ceph2                 192.168.6.146    ceph3192.168.6.147    ceph4

配置三台主机的ssh免密钥登录

su - ceph-adminssh-keygenssh-copy-id ceph-admin@ceph2ssh-copy-id ceph-admin@ceph3ssh-copy-id ceph-admin@ceph4

使用ceph-deploy部署集群

安装ceph-deploysudo yum install -y ceph-deploy python-pip //注意python-pip需要使用epel源，提前将epel源配置好mkdir  my-cluster      //创建安装目录cd my-cluster进行节点部署ceph-deploy new ceph2 ceph3 ceph4    //这里务必要保证三台主机的网络是互通的安装完之后my-cluster目录下面会生成三个文件ceph.confceph-deploy-ceph.logceph.mon.keyring编辑ceph.conf配置文件，在最后添加一下信息sudo vim  ~/my-cluster/ceph.confpublic network = 192.168.6.0/24cluster network = 192.168.6.0/24安装ceph包sudo  yum install -y ceph ceph-radosgw         //三个节点上都要安装，这两个包需要使用epel源，两外两个节点需要配置好epel源配置初始的monitor并收集所有密钥：ceph-deploy mon create-initial把配置信息拷贝到各节点ceph-deploy admin ceph2 ceph3 ceph4 配置osd使用for循环语句执行（也可以写到文本中做成脚本执行）for dev in /dev/sdb  /dev/sdc /dev/sdd         //注意磁盘名称，可以使用lsblk命令进行查看do        ceph-deploy disk zap ceph2 $dev        ceph-deploy osd create ceph2 --data  $dev        ceph-deploy disk zap ceph3 $dev        ceph-deploy osd create ceph3 --data  $dev        ceph-deploy disk zap ceph4 $dev        ceph-deploy osd create ceph4 --data  $devdone配置完OSD之后，部署mgr用于监控整个集群ceph-deploy mgr create ceph2 ceph3 ceph4 开启dashboard模块，启用浏览器界面在开启dashboard模块之前要注意，因为我们是使用ceph-admin一般用户进行安装，所有无法调用/etc/ceph/下面的文件，将/etc/ceph目录下面的文件属主属组全部更改为ceph-adminsudo chown -R ceph-admin /etc/ceph然后加载dashboard模块ceph mgr module enable dashboard 加载完模块之后查看7000号端口号是否正常监听ss -ntl 打开浏览器输入192.168.6.145:7000查看ceph存储集群整体状况

此时使用ceph-deploy部署三节点集群配置完毕