Ceph如何安装配置
这篇文章主要介绍了Ceph如何安装配置，具有一定借鉴价值，感兴趣的朋友可以参考下，希望大家阅读完这篇文章之后大有收获，下面让小编带着大家一起了解一下。
1.参考资料
http://docs.ceph.com/docs/master/
http://docs.ceph.org.cn/
https://blog.csdn.net/wylfengyujiancheng/article/details/78461801
http://www.cnblogs.com/luohaixian/p/8087591.html
https://www.jianshu.com/p/c22ff79c4452
https://blog.csdn.net/dengxiafubi/article/details/72957402
https://q.cnblogs.com/q/75797
https://blog.csdn.net/reblue520/article/details/52039353
http://www.d-kai.me/ceph%E7%A7%91%E6%99%AE/
https://blog.csdn.net/signmem/article/details/78602374
http://www.cnblogs.com/royaljames/p/9807532.html
https://cloud.tencent.com/developer/article/1177975
http://blog.51niux.com/?id=161
2.增加ceph的yum源
sudo yum install -y https://dl.fedoraproject.org/pub/epel/epel-release-latest-7.noarch.rpm
编辑ceph库 /etc/yum.repos.d/ceph.repo
[Ceph]name=Ceph packages for $basearchbaseurl=https://mirrors.aliyun.com/ceph/rpm-nautilus/el7/$basearchenabled=1gpgcheck=0type=rpm-mdgpgkey=https://mirrors.aliyun.com/ceph/keys/release.ascpriority=1[Ceph-noarch]name=Ceph noarch packagesbaseurl=https://mirrors.aliyun.com/ceph/rpm-nautilus/el7/noarchenabled=1gpgcheck=0type=rpm-mdgpgkey=https://mirrors.aliyun.com/ceph/keys/release.ascpriority=1[ceph-source]name=Ceph source packagesbaseurl=https://mirrors.aliyun.com/ceph/rpm-nautilus/el7/SRPMSenabled=1gpgcheck=0type=rpm-mdgpgkey=https://mirrors.aliyun.com/ceph/keys/release.ascpriority=1
yum clean all
yum install -y ceph-deploy
3.安装NTP服务
ceph需要保证时间同步,需要安装ntp服务,这个先自己百度一下吧,很简单,我有时间了把ntp的文档也发出来
4.修改/etc/hosts文件
修改 /etc/hosts,每台服务器都配置别名
10.0.67.15 node1
10.0.67.19 node2
10.0.67.21 node3
名字一般可以用机器的hostname,但是不要用FQDN(也就是全域名,比如有些机器的全域名是node1.example.com).这时候hostname -s得到的是node1.建议主机名不包含域,例如设置成node1
5.创建用户
###安装ssh服务###
yum install openssh-server
###在各 Ceph 节点创建新用户###
useradd -d /home/cephuser -m cephuser
###自己设置一个密码,记好,会经常用###
passwd cephuser
###确保各 Ceph 节点上新创建的用户都有 sudo 权限###
echo "cephuser ALL = (root) NOPASSWD:ALL" | sudo tee /etc/sudoers.d/cephuser
sudo chmod 0440 /etc/sudoers.d/cephuser
修改 ceph-deploy 管理节点上的 ~/.ssh/config 文件,这样 ceph-deploy 就能用你所建的用户名登录 Ceph 节点了,而无需每次执行 ceph-deploy 都要指定 --username {username} .这样做同时也简化了 ssh 和 scp 的用法.把 {username} 替换成你创建的用户名.
Host node1
Hostname node1
User cephuser
Host node2
Hostname node2
User cephuser
Host node3
Hostname node3
User cephuser
###完成所有的配置之后,可以在其他节点上也安装ceph-deploy,把/root/.ssh,/data/my-cluster整体拷贝到备用机,避免管理机器宕机###
6.关闭防火墙和selinux
7.安装ceph-deploy安装
###创建一个配置文件目录,以后ceph-deploy的操作都要在这个目录下执行###
mkdir my-cluster
cd my-cluster
ceph-deploy会把文件输出到当前目录,必须在my-cluster目录下行执行ceph-deploy命令
8.安装ceph集群
###在默认的监控节点(mon)创建集群,并指定网络域,就是ceph服务器的网段###
ceph-deploy new node1 --public-network 10.0.67.0/24
###在所有节点上安装ceph###
ceph-deploy install node1 node2 node3
##初始化监控节点###
ceph-deploy mon create-initial
###在默认的mon节点上启动mgr###
ceph-deploy mgr create node1
###创建 osd ,osd映射到磁盘或者分区###
ceph-deploy osd create --data /dev/vda4 node1
ceph-deploy osd create --data /dev/vda4 node2
ceph-deploy osd create --data /dev/vda4 node3
###如果要使用cephfs,需要至少一个MDS服务实例###
ceph-deploy mds create node1
ceph-deploy mds create node2
ceph-deploy mds create node3
###查看mds###
ceph mds stat
###增加监控节点####
ceph-deploy mon add node2
ceph-deploy mon add node3
###增加和mon服务对应的mgr服务节点###
ceph-deploy mgr create node2
ceph-deploy mgr create node3
###若是出现异常,检查ecph.conf的public_network,一般是这个问题###
##推送配置文件###
#ceph-deploy --overwrite-conf config push node1 node2 node3
#ceph-deploy admin node1 node2 node3
###集群状态###
ceph -s
###查看osd的树信息###
ceph osd tree
###查看osd磁盘信息###
ceph osd df
查看各种Map的信息可以通过如下命令:ceph osd(mon/pg) dump
###查看集群mon节点状态###
ceph quorum_status --format json-pretty
9.卸载集群
如果在某些地方碰到麻烦,想从头再来,可以用下列命令清除配置:
ceph-deploy purge node1 node2 node3
ceph-deploy purgedata node1 node2 node3
ceph-deploy forgetkeys
rm -rf ceph*
重新安装之后,ceph.repo重新创建一下.
已经挂载的osd硬盘,ceph做了multipath(多路径),会出现/dev/vda4无法使用的情况,没有映射,也没有挂载,需要dmsetup remove
参考:https://blog.csdn.net/reblue520/article/details/52039353
###清除掉磁盘的GPT信息####
sgdisk --zap-all /dev/vda4
ll /dev/mapper/
dmsetup remove /dev/mapper/ceph--xxxxxx
10.升级
###先升级ceph-deploy工具###
yum install ceph-deploy python-pushy
###设置noout,防止升级过程中数据重平衡,升级完成后取消设置即可###
###set是集群参数,任意一个节点设置就行###
ceph osd set noout
###升级ceph版本###
#ceph-deploy install --release {release-name} ceph-node1[ ceph-node2]
ceph-deploy install --release nautilus node1 node2 node3
###取消noout设置###
ceph osd unset noout
###重启###
依次重启服务器,省的麻烦......
重启前一定要确保集群属于健康状态.
###查看状态###
ceph --version
ceph -s
ceph mon stat
11.pool,cephfs,rbd的日常操作,以后再补充
感谢你能够认真阅读完这篇文章，希望小编分享的"Ceph如何安装配置"这篇文章对大家有帮助，同时也希望大家多多支持，关注行业资讯频道，更多相关知识等着你来学习!
