千家信息网

请输入关键字词

热门搜索排行

最新搜索排行

导航： 首页 > 服务器 >

mfs安装源码编译

发表于：2025-02-02 作者：千家信息网编辑
千家信息网最后更新 2025年02月02日，https://pan.baidu.com/s/1RY1emqQHM-Mq3nq1NP5PUw //软件百度网盘连接MFS分布式文件系统文件系统:ext4、xfs、ext3mooseFS(moose
千家信息网最后更新 2025年02月02日mfs安装源码编译

https://pan.baidu.com/s/1RY1emqQHM-Mq3nq1NP5PUw //软件百度网盘连接

MFS分布式文件系统

文件系统:ext4、xfs、ext3

mooseFS(moose 驼鹿)是一款网络分布式文件系统。它把数据分散在多台服务器上，但对于用户来讲，看到的只是一个源。MFS也像其他类UNIX文件系统一样，包含了层级结构（目录树），存储着文件属性（权限、最后访问和修改时间），常见特殊的文件（块设备、字符设备、管道、套接字），符号链接，硬链接。

MooseFS[MFS]是一个具有容错性的网络分布式文件系统。它把数据分散存放在多个物理服务器上，但呈现给用户的则是一个统一的资源

当我们存储服务器的容量达到瓶颈之后，那我们就需要采用分布式的文件系统来扩大存储容量，类似与百度云的存储，也是采用分布式存储。

MFS特征：
1、层析结构（目录树）
2、存储文件属性（权限、访问和修改时间）
3、支持特殊文件（块设备，字符设备，管道）
4、符号链接，软硬链接
5、对文件系统访问可以通过IP地址或者密码进行访问限制
6、高可靠（数据的多个拷贝存储在不同的计算机上）
7、通过附加新的计算机或者硬盘可以实现容量的动态扩展
8、删除文件可以根据一个可配置的时间周期进行保留
9、不受访问和写入影响的文件连贯快照

应用场景：分布式文件系统的应用场景
1、大规模高并发的数据存储及访问（小文件，大文件）
2、大规模的数据处理，如日志分析

官方网站：https://moosefs.com

MFS分布式文件系统部署方案：
Moosefs是一种分布式文件系统，MooseFS文件系统结构包括以下四种角色：
1、管理服务器 managing server（master）
负责各个数据存储服务器的管理，文件读写调度，文件空间回收以及恢复，多节点拷贝

2、元数据日志服务器 Metalogger Server（Metalogger）
负责备份master服务器的变化日志文件，文件类型为changelog_ml.*.mfs，以便于在master server出问题的时候接替其进行工作。

3、数据存储服务器data servers（chunk servers）
听从管理服务器调度，提供存储空间，并为客户提供数据传输。真正存储用户数据的服务器。
存储文件时，首先把文件分出块，然后这些块在数据服务区chunk server之间复制（复制份数可以手工指定，建议设置副本数为3）。数据服务器可以是多个，并且数量越多，可使用的"磁盘空间"越大，可靠性也越高。

4、客户机挂载使用client computers
客户端挂载远程mfs服务器共享出的存储并使用。
通过fuse内核接口挂载进程管理服务器上所管理的数据存储服务器共享出的硬盘。
共享的文件系统的用法和nfs相似。
使用MFS文件系统来存储和访问的主机称为MFS的客户端，成功挂载MFS文件系统以后，就可以像以前使用NFS一样共享这个虚拟性的存储了




分布式文件系统原理

分布式文件系统是指文件系统管理的物理存储资源不一定直接连接在本地节点上,而是通过计算机网络与节点相连。就是把一些分散的(分布在局域网内各个计算机上)共享文件夹,集合到一个文件夹内(虚拟共享文件夹)。对于用户来说,要访问这些共享文件夹时,只要打开这个虚拟共享文件夹,就可以看到所有链接到虚拟共享文件夹内的共享文件夹,用户感觉不到这些共享文件是分散于各个计算机上的。

分布式文件系统优势：
集中访问
简化操作
数据容灾
提高文件存取性能、在线扩容





MFS读取数据原理

1.客户端向元数据服务器发出读请求
2.元数据服务器把所需数据存放的位置(Chunk Servert的IP地址和Chunk编号)告知客户端
3.客户端向己知的Chunk Serve请求发送数据
4.Chunk Server向客户端发送数据


过程：
1.客户端向元数据服务器发送写请求
2.元数据服务器与Chunk Server进行交互(只有当所需的分块Chunks存在的时候才进行这个交互),但元数据服务器只在某些服务器创建新的分块Chunks,创建完告知元数据服务器操作成功
3.元数据服务器告知客户端,可以在哪个Chunk Server的哪些Chunks写入数据
4.客户端向指定的Chunk Server写入数据
5.该Chunk Serve与其他Chunk Serve进行数据同步，之后Chunk Server告知客户端数据写入成功
6.客户端告知元数据服务器本次写入完毕

端口号：
9420：MFS master和MFS chunk通信端口
9421：MFS master和MFS client端通信端口
9419：MFS master和MFS metalogger端通信端口
9422：MFS chunk和MFS client端通信端口
9425：MFS master web界面监听端口，查看整体运行状态


系统环境

主机操作系统ip地址软件包
mastercentos7.4192.168.80.100mfs
metaloggercentos7.4192.168.80.101mfs
chunk01centos7.4192.168.80.102mfs
chunk02centos7.4192.168.80.103mfs
chunk03centos7.4192.168.80.104mfs
clientcentos7.4192.168.80.105mfs、fuse



一、搭建master server

1、安装相关编译器、工具包（所有服务器都得安装）关闭防火墙及SElinuxsystemctl   stop   firewalldsetenforce   0yum  install gcc gcc-c++ make   zlib-devel  fuse-devel -yyum install lrz* -y
2、创建进程用户useradd -M  -s   /sbin/nologin   mfs
3、安装mfs软件包yum install unzip -yunzip   moosefs-master.zip    -d /opt cd  /opt/moosefs-master ./configure    --prefix=/usr/local/mfs  \--with-default-user=mfs  \--with-default-group=mfs    make && make install#编译及编译安装
4、修改相关文件信息cd   /usr/local/mfs/etc/mfs/

cp   mfsexports.cfg.dist    mfsexports.cfg     #输出目录配置文件，定义挂载以及权限设定文件 cp mfsmaster.cfg.dist mfsmaster.cfg #主配置文件 cp mfstopology.cfg.dist mfstopology.cfg #元数据日志文件 cd /usr/local/mfs/var/mfs/ cp metadata.mfs.empty metadata.mfs #master元数据文件

5、详解主配置文件cd /usr/local/mfs/etc/mfs/ vi   mfsmaster.cfg  #此文件中，有注释符号的就是默认配置 # WORKING_USER = mfs             #运行master服务的用户# WORKING_GROUP = mfs            #运行master服务的组# SYSLOG_IDENT = mfsmaster       #在syslog中表示是mfsmaster产生的日志，在syslog的标识，说明由master服务产生的# LOCK_MEMORY = 0                #是否执行mlockall(),避免master进程溢出(默认为0)# NICE_LEVEL = -19               #运行的优先级(如果可以，默认是-19；注意进程必须是root启动) # EXPORTS_FILENAME = /usr/local/mfs/etc/mfs/mfsexports.cfg   #被挂载目录及其权限控制文件的存放位置 # TOPOLOGY_FILENAME = /usr/local/mfs/etc/mfs/mfstopology.cfg # DATA_PATH = /usr/local/mfs/var/mfs #数据存放位置 # BACK_LOGS = 50                     #metadata改变的log文件数目(默认是50)# BACK_META_KEEP_PREVIOUS = 1 # REPLICATIONS_DELAY_INIT = 300# REPLICATIONS_DELAY_DISCONNECT = 3600 # MATOML_LISTEN_HOST = *         #metalogger监听的IP地址(默认是*，代表任何IP)# MATOML_LISTEN_PORT = 9419      #metalogger监听的端口地址(默认是9419)# MATOML_LOG_PRESERVE_SECONDS = 600 # MATOCS_LISTEN_HOST = *         #用于chunkserver连接的IP地址(默认是*，代表任何IP)# MATOCS_LISTEN_PORT = 9420      #用于chunkserver连接的端口IP地址(默认是9420) # MATOCL_LISTEN_HOST = *         # MATOCL_LISTEN_PORT = 9421 # CHUNKS_LOOP_MAX_CPS = 100000 # CHUNKS_LOOP_MIN_TIME = 300    #chunks的回环频率(默认是300秒) # CHUNKS_SOFT_DEL_LIMIT = 10# CHUNKS_HARD_DEL_LIMIT = 25# CHUNKS_WRITE_REP_LIMIT = 2    #在一个循环里复制到一个chunkserver的最大chunk数# CHUNKS_READ_REP_LIMIT = 10    #在一个循环里从一个chunkserver复制的最大chunk数# ACCEPTABLE_DIFFERENCE = 0.1 # SESSION_SUSTAIN_TIME = 86400# REJECT_OLD_CLIENTS = 0 # deprecated:# CHUNKS_DEL_LIMIT - use CHUNKS_SOFT_DEL_LIMIT instead# LOCK_FILE - lock system has been changed, and this option is used only to search for old lockfile



6、详解被挂载目录及权限配置文件  cd /usr/local/mfs/etc/mfs/ vi mfsexports.cfg # Allow everything but "meta".*                       /       rw,alldirs,maproot=0 # Allow "meta".*                       .       rw#详解根据文件的显示，可以看出，该文件每一个条目分为三个部分第一部分：客户端的IP地址第二部分：被挂载的目录第三部分：客户端拥有的权限 客户端的IP地址部分*：代表所有的IP地址192.168.100.71：代表单个IP地址192.168.100.0/24：代表整个网段192.168.100.71-192.168.100.100：代表指定网段 被挂载的目录部分/：标识MFS根.：标识MFSMETA文件系统 客户端拥有的权限部分ro：代表只读模式rw：代表读写方式共享alldirs：允许挂载任何指定的子目录admin：管理员权限maproot：映射为root，还是指定的用户Password：指定客户端的密码
7、授权、优化路径chown  -R mfs.mfs /usr/local/mfsln -s /usr/local/mfs/sbin/* /usr/local/bin/
8、启动服务mfsmaster start

netstat -anpt | grep mfs

9、编辑启动脚本（我用的是方法二）方法一：vi   /lib/systemd/system/mfs.service [Unit]Description=mfsAfter=network.target [Service]Type=forkingExecStart=/usr/local/mfs/sbin/mfsmaster start   #启动服务ExecStop=/usr/local/mfs/sbin/mfsmaster stop    #关闭服务PrivateTmp=true [Install]WantedBy=multi-user.target systemctl enable mfs.service #服务开机自启动systemctl stop mfs.service #关闭服务systemctl start mfs.service #启动服务 方法二：echo "/usr/local/mfs/sbin/mfsmaster start" >> /etc/rc.d/rc.localchmod +x /etc/rc.d/rc.local


二、搭建MetaLogger Server(元数据日志服务器)

1、安装相关编译器、工具包yum  install gcc gcc-c++ make   zlib-devel  fuse-devel -yyum install lrz* -y
2、创建进程用户useradd -s /sbin/nologin  -M mfs


3、安装mfs软件包yum install -y unzipunzip   moosefs-master.zip    -d /opt cd  /opt/moosefs-master./configure \--prefix=/usr/local/mfs \--with-default-user=mfs \--with-default-group=mfs  make && make install
4、修改主配置文件cd /usr/local/mfs/etc/mfs/ cp mfsmaster.cfg.sample mfsmaster.cfgcp mfsexports.cfg.sample mfsexports.cfgcp mfsmetalogger.cfg.sample mfsmetalogger.cfg cd /usr/local/mfs/var/mfscp metadata.mfs.empty metadata.mfs  cd /usr/local/mfs/etc/mfs/vi mfsmetalogger.cfg 修改以下内容:MASTER_HOST   =   192.168.80.100         执行master服务器的ip地址,去掉注释符号META_DOWNLOAD_FREQ = 24 #备份频率时间
5、授权、优化路径chown  -R mfs.mfs  /usr/local/mfsln -s /usr/local/mfs/sbin/* /usr/local/bin/
6、启动服务mfsmetalogger start

netstat -anpt | grep  mfsmetalogger

echo "/usr/local/mfs/sbin/mfsmetalogger start" >> /etc/rc.d/rc.localchmod +x /etc/rc.d/rc.local


三、搭建Chunk Server（三台Chunk Server主机搭建步骤相同）

安装数据服务器（chunkservers），这些机器的磁盘上要有适当的剩余空间，而且操作系统要遵循POSIX标准（验证了的有这些：Linux、FreeBSD、Mac OS X and OpenSolaris）。

chunkserver存储数据时，是在一个普通的文件系统如ext4上存储数据块或碎片（chunks/fragments）作为文件。你在chunkserver上看不到完整的文件。

1、安装相关编译器、工具包 yum  install gcc gcc-c++ make   zlib-devel  fuse-devel -yyum install lrz* -y
2、创建程序用户 useradd -s /sbin/nologin  -M mfs
3、安装mfs软件包yum install unzip -yunzip   moosefs-master.zip    -d /opt cd  /opt/moosefs-master ./configure \--prefix=/usr/local/mfs \--with-default-user=mfs \--with-default-group=mfs make && make install
4、修改相应配置文件cd /usr/local/mfs/etc/mfs/ cp mfschunkserver.cfg.sample mfschunkserver.cfgcp mfshdd.cfg.sample mfshdd.cfg vi mfschunkserver.cfg修改以下内容：MASTER_HOST  =  192.168.80.100       指向master服务器的ip地址,去掉注释符号MASTER_PORT  = 9420 vi   mfshdd.cfg添加一行：/data        这是一个给MFS的分区，生产环境中最好使用独立的分区，或者磁盘挂载到此目录下
5、创建MFS分区目录mkdir /data chown -R mfs:mfs /data/
6、授权、优化路径chown -R mfs.mfs /usr/local/mfsln -s /usr/local/mfs/sbin/* /usr/local/bin/
7、启动服务mfschunkserver start

netstat -anpt | grep mfschunkserver     看9422 端口是否在工作注：如果没有显示试一下下面一行命令netstat -anpt | grep 9422

 echo "/usr/local/mfs/sbin/mfschunkserver start" >> /etc/rc.d/rc.localchmod +x /etc/rc.d/rc.local



四、配置客户端
---

1、安装相关编译器、工具包 yum  install gcc gcc-c++ make   zlib-devel  fuse-devel -y
4、创建进程用户useradd -s /sbin/nologin  -M mfsyum install lrz* -y


5、安装mfs软件包 yum install unizp -yunzip   moosefs-master.zip    -d /opt cd  /opt/moosefs-master ./configure \--prefix=/usr/local/mfs \--with-default-user=mfs \--with-default-group=mfs \--enable-mfsmount make && make install ln -s  /usr/lcoal/mfs/bin/* /usr/local/bin
6、挂载MFS文件系统 mkdir /opt/mfs #创建挂载点 modprobe fuse #加载fuse模块到内核 mfsmount /opt/mfs/ -H 192.168.80.100 #挂载MFS 

df -hT #查看挂载情况

unzip   moosefs-master.zip    -d /opt cd  /opt/moosefs-master echo "modprobe fuse" >> /etc/rc.d/rc.localecho "/usr/local/mfs/bin/mfsmount  /opt/mfs -H 192.168.80.100" >> /etc/rc.d/rc.local 在chunkserver上查看：yum install tree -ytree  /data
7、在master上开启web监控服务mfscgiserv start



8、访问MFS监控工具
http://192.168.80.100:9425 #client端访问web


很赞哦！
文件 服务 数据 服务器 系统 存储 客户 客户端 地址 分布式 用户 目录 配置 代表 权限 端口 文件夹 管理 编译 日志 数据库的安全要保护哪些东西 数据库安全各自的含义是什么 生产安全数据库录入 数据库的安全性及管理 数据库安全策略包含哪些 海淀数据库安全审计系统 建立农村房屋安全信息数据库 易用的数据库客户端支持安全管理 连接数据库失败ssl安全错误 数据库的锁怎样保障安全 远程登录服务器能听音乐看电影吗 php提交数据库代码 诛仙手游怎么找不到原来的服务器 熹沫语网络技术 网络安全隐患案例分析 软件开发企业cma资质 华为云服务器成都区域选择 软件开发物理设计阶段 闲看点软件开发 1计算机网络安全问题 购物车总价需要查数据库吗 结构力学软件开发 数据库代码一览表 玉林导航软件开发 前端软件开发价格 影视资源数据库打包下载 医院通常用哪种数据库 cognos 内容数据库 东莞物流软件开发 军转 软件开发面试题 控制网络技术对未来的发展 网络安全 模型 ios软件开发难学吗 天津市数据软件开发公司 福州多人语音社交软件开发公司 神通数据库好用么 我的世界服务器rpg技巧 网络安全期末小论文 微信朋友圈照片会上传服务器吗 光网络技术

相关文章

0