导航：首页 > 服务器 >

HDFS中读写过程的示例分析

发表于：2024-11-22 作者：千家信息网编辑

千家信息网最后更新 2024年11月22日，小编给大家分享一下HDFS中读写过程的示例分析，希望大家阅读完这篇文章之后都有所收获，下面让我们一起去探讨吧！读文件的过程1 客户端(client)用 FileSystem 的open() 函数打开文

千家信息网最后更新 2024年11月22日HDFS中读写过程的示例分析

小编给大家分享一下HDFS中读写过程的示例分析，希望大家阅读完这篇文章之后都有所收获，下面让我们一起去探讨吧！

读文件的过程

1 客户端(client)用 FileSystem 的open() 函数打开文件

2 DistributedFileSystem 用RPC 调用元数据节点，得到文件的数据块信息。对于每一个数据块，元数据节点返回保存数据块的数据节点的地址，DistributedFileSystem 返回FSDataInputStream给客户端，用来读取数据。

3 客户端调用stream的read() 函数开始读取数据，DFSInputSteam 连接保存此文件第一个数据块的最近的数据节点

4 Data 从数据节点读到客户端(client) ,当此数据块读取完毕时，DFSInputStream关闭和此数据节点的连接，然后连接此文件下一个数据块的最近的数据节点。

5 当客户端读取完毕数据的时候，调用FSDataInputStream 的close()函数

在读取数据的过程中，如果客户端在与数据节点通信出现错误，则尝试连接包含此数据块的下一个数据节点。

失败的数据节点将被记录，以后不再连接。

自简单总结： client 用FileSystem open 打开文件---> FileSystem从namenode 获取文件的bloc location位置返回 FSDataInputStream 给client ----> client 利用 FSDataInputStream 读取数据 --->每读完一个数据块关闭与此 datanode的连接 ---->直到文件所有数据块读完，关闭 FSDataInputStream 的close()

写文件的过程

1、客户端调用create()来创建文件

2、 DistributedFileSystem 用RPC 调用元数据元数据节点，在文件系统的命名空间创建一个新的文件。

元数据节点首先确定文件原来不存在，并且客户端有创建文件的权限，然后创建文件。 DistributedFileSystem 返回DFSOutputStream 客户端用于写数据

3、客户端开始写入数据，DFSOutputStream 将数据分成块，写入 data queue 。

4、 Data queue 由 Data Streamer读取，并通知元数据节点分配数据节点，用来存储数据块(每块默认复制3块) 分配的数据节点放在一个pipeline里。也即 (DFSOutputStream写入 data queue里的block 即将要写入pipeline 中的数据节点上 ,这块的读写数据工作是由Data Streamer来负责的)

Data Streamer 将数据块写入pipeline中的第一个数据节点。第一个数据节点将数据块发送给第二个数据节点。第二个数据节点将数据发送给第三个数据节点。依次。。

5、DFSOutputStream 为发出去的数据块保存了 ack queue ,等待pipeline中的数据节点告知数据已经写入成功。

如果数据节点在写入的过程中失败：

关闭pipeline ,将ack queue 中的数据块放入 data queue的开始

当前的数据块在已经写入的数据节点中被元数据节点赋予新的标示，则错误节点重启后能够察觉其数据时过期的，会被删除。

失败的数据节点从pipeline 中移除，另外的数据块则写入pipeline中的另外两个数据节点。

元数据节点则被通知此数据块是复制块数不足，将来会再创建第三份备份

6、当客户端结束写入数据，则调用stream 的 close函数。此操作将所有的数据块写入 pipeline中的数据节点，并等待ack queue 返回成功。最后通知元数据节点写入完毕。

自总结

client create --> FileSystem create调用namnode 创建 fsimage文件 --> 返回DFSOutputStream给客户端 ---> 客户端利用DFSOutputStream 开始将block(数据分块)写入data queue里
--->Data Streamer来负责从data queue取数据写入pipeline （数据节点列表）--->DFSOutputStream 等待pipeline 返回的ack queue -->最后通知元数据节点写入完毕

安全模式

1：Name 启动的时候首先将fsimage(镜像)载入内存，并执行(replay)编辑日志editlog的各项操作

2：一旦内存中建立文件系统元数据映射，则创建一个新的fsimage 文件(这个过程不需要secondaryNamenode)和一个空的editlog

3:在安全模式下，各个 datanode 会向namenode发送块列表的最新情况

4：此刻namenode 运行在安全模式。即 namenode 的文件系统对于客户端来说是只读的(显示目录，显示文件内容等 ,写，删除，重命名都会失败)

5：NameNode 开始监听RPC 和HTTP请求

解释RPC:RPC（Remote Procedure Call Protocol）--远程过程通过协议，它是一种通过网络从远程

计算机程序上请求服务，而不需要了解底层网络技术的协议.

6：系统中数据块的位置并不是由namenode 维护的，而是以列表形式存储在datanode 中

7：在系统的正常操作期间，namenode 会在内存中保留所有块信息的映射信息（块在datanode什么位置)

8 : 进入和离开安全模式：

查看namenode处于哪个状态