MFS分布式文件系统搭建与监控详解

MFS介绍

官网地址：http://www.moosefs.com/

MooseFS是一个具有容错性的网络分布式文件系统。

它把数据分散存放在多个物理服务器上，而呈现给用户的则是一个统一的资源。通用文件系统,不需要修改上层应用就可以使用，通过附加新的计算机或者硬盘可以实现容量的动态扩展，体系架构可伸缩性极强，删除的文件可以根据配置的时间周期进行保留（一个文件系统级别的回收站），高可靠（数据的多个拷贝被存储在不同的计算机上），提供 web 监控接口，提高随机读或写的效率，提高海量小文件的读写效率。但是mfs 把文件系统的结构缓存到 master 的内存中,文件越多,master 的内存消耗越大,8g 对应 2500w 的文件数,2 亿文件就得 64GB 内存。支持特殊文件（块和字符设备、管道以及套接字），符号连接和硬连接。

包括以下四种角色：

实验环境介绍

基本环境表

拓扑图

操作步骤

• 五台虚拟机模拟搭建MFS文件系统

• 关闭防火墙及selinux

  systemctl stop firewalld
  setenforce 0

  搭建Master Server

  安装软件

  curl "https://ppa.moosefs.com/RPM-GPG-KEY-MooseFS" > /etc/pki/rpm-gpg/RPM-GPG-KEY-MooseFS //添加键值
  curl "http://ppa.moosefs.com/MooseFS-3-el7.repo" > /etc/yum.repos.d/MooseFS.repo //添加适当的库条目
  yum install moosefs-master moosefs-cgi moosefs-cgiserv moosefs-cli -y

  配置文件解释

  cd /etc/mfs/

  -rw-r--r--. 1 root root 4057 9月 27 15:18 mfsexports.cfg //输出目录配置文件
  -rw-r--r--. 1 root root 4057 7月 20 19:16 mfsexports.cfg.sample
  -rw-r--r--. 1 root root 9015 9月 27 15:18 mfsmaster.cfg //Master配置文件
  -rw-r--r--. 1 root root 9015 7月 20 19:16 mfsmaster.cfg.sample
  -rw-r--r--. 1 root root 1052 9月 27 15:18 mfstopology.cfg //元数据日志
  -rw-r--r--. 1 root root 1052 7月 20 19:16 mfstopology.cfg.sample
  

  启动服务

  systemctl start moosefs-master
  systemctl enable moosefs-master
  netstat -ntap | grep mfs

  tcp 0 0 0.0.0.0:9419 0.0.0.0:* LISTEN 6217/mfsmaster
  tcp 0 0 0.0.0.0:9420 0.0.0.0:* LISTEN 6217/mfsmaster
  tcp 0 0 0.0.0.0:9421 0.0.0.0:* LISTEN 6217/mfsmaster

  搭建MetalLogger Server

  安装

  curl "https://ppa.moosefs.com/RPM-GPG-KEY-MooseFS" > /etc/pki/rpm-gpg/RPM-GPG-KEY-MooseFS //添加键值
  curl "http://ppa.moosefs.com/MooseFS-3-el7.repo" > /etc/yum.repos.d/MooseFS.repo //添加适当的库条目
  yum install moosefs-metalogger -y

  修改配置文件

  vim /etc/mfs/mfsmetalogger.cfg

  MASTER_HOST = 192.168.137.10 //第52行，去除注释，改地址指向主服务器。

  启动服务

  systemctl start moosefs-metalogger
  systemctl enable moosefs-metalogger
  netstat -ntap | grep mfs

  tcp 0 0 192.168.137.11:36766 192.168.137.10:9419 ESTABLISHED 73521/mfsmetalogger

  搭建Chunk Server

  这两台Chunk Server的搭建步骤是完全相同

  安装

  curl "https://ppa.moosefs.com/RPM-GPG-KEY-MooseFS" > /etc/pki/rpm-gpg/RPM-GPG-KEY-MooseFS //添加键值
  curl "http://ppa.moosefs.com/MooseFS-3-el7.repo" > /etc/yum.repos.d/MooseFS.repo //添加适当的库条目
  yum install moosefs-chunkserver -y

  修改配置文件

  修改一

  vim /etc/mfs/mfschunkserver.cfg

  MASTER_HOST = 192.168.137.10 //第77行，将地址指向主服务器

  修改二

  vim /etc/mfs/mfshdd.cfg
  /gongxiang //在末行添加共享目录

  mkdir /gongxiang //创建共享目录

  chown -R mfs:mfs /gongxiang //为共享目录授权

  启动服务

  systemctl start moosefs-chunkserver
  systemctl enable moosefs-chunkserver
  netstat -ntap | grep mfs

  tcp 0 0 0.0.0.0:9422 0.0.0.0:* LISTEN 71921/mfschunkserve
  tcp 0 0 192.168.137.13:59006 192.168.137.10:9420 ESTABLISHED 71921/mfschunkserve

  Client的搭建

  安装

  curl "https://ppa.moosefs.com/RPM-GPG-KEY-MooseFS" > /etc/pki/rpm-gpg/RPM-GPG-KEY-MooseFS //添加键值
  curl "http://ppa.moosefs.com/MooseFS-3-el7.repo" > /etc/yum.repos.d/MooseFS.repo //添加适当的库条目
  yum install moosefs-client -y

  加载fuse模块至内核

  modprobe fuse

  挂载共享目录

  mkdir /opt/mfs //创建挂载点
  mfsmount /opt/mfs/ -H 192.168.137.10 //挂载，地址为master地址

  df -h

  文件系统 容量 已用 可用 已用% 挂载点
  /dev/sda6 21G 4.1G 17G 20% /
  devtmpfs 896M 0 896M 0% /dev
  tmpfs 911M 0 911M 0% /dev/shm
  tmpfs 911M 11M 900M 2% /run
  tmpfs 911M 0 911M 0% /sys/fs/cgroup
  /dev/sda2 9.8G 33M 9.8G 1% /opt
  /dev/sda3 4.9G 89M 4.8G 2% /home
  /dev/sda1 1014M 165M 850M 17% /boot
  tmpfs 183M 64K 183M 1% /run/user/1000
  tmpfs 183M 0 183M 0% /run/user/0
  192.168.137.10:9421 58G 8.1G 50G 14% /opt/mfs

• MFS监控

• 主服务器上开启监控

• mfscgiserv
  lockfile created and locked
  starting simple cgi server (host: any , port: 9425 , rootpath: /usr/share/mfscgi)

  访问192.168.137.10：9425 主机地址

  填写主服务器地址

  
  界面