HDFS有什么作用

这篇文章主要介绍了HDFS有什么作用，具有一定借鉴价值，感兴趣的朋友可以参考下，希望大家阅读完这篇文章之后大有收获，下面让小编带着大家一起了解一下。

1、HDFS是啥？

HDFS（Hadoop Distributed File System，Hadoop分布式文件系统），它是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，适合那些有着超大数据集（large data set）的应用程序。

2、HDFS特点是个啥？

1、大数据文件，可以存储大数据文件，小的话用不着，单机就可以了，杀鸡焉用牛刀。理论上如果管理节点的内存足够的话，无上限，但是毕竟硬件条件有限。如果一个block 128M，每个block需要4kb的管理信息 namenode内存有8G 那么8G/4kb*128就是她这个集群的上限。

2、文件分块存储，HDFS会将一个完整的大文件平均分块存储到不同计算器上，块的大小64M，128M, 256M都可以（看情况），它的意义在于读取文件时可以同时从多个主机取不同区块的文件，多主机读取比单主机读取效率要高得多得都。

3、流式数据访问，一次写入多次读写，这种模式跟传统文件不同，它不支持动态改变文件内容，而是要求让文件一次写入就不做变化，要变化也只能在文件末添加内容。

4、廉价硬件，HDFS可以应用在普通PC机上，这种机制能够让给一些公司用几十台廉价的计算机就可以撑起一个大数据集群。

5、硬件故障，HDFS认为所有计算机都可能会出问题，为了防止某个主机失效读取不到该主机的块文件，它将同一个文件块副本分配到其它某几个主机上，如果其中一台主机失效，可以迅速找另一块副本取文件。所以一般block备份三份，namenode 备份一份。

3、总结

HDFS就是一个将大数据量的文件分割成成大小相等的block中，这个block一般为 62M,128M等，并存储到集群中，可以一次存储，多次读取，不易修改，不适合做交互，时效性低

感谢你能够认真阅读完这篇文章，希望小编分享的"HDFS有什么作用"这篇文章对大家有帮助，同时也希望大家多多支持，关注行业资讯频道，更多相关知识等着你来学习!