千家信息网

hdfs数据误删分析与恢复

发表于:2024-10-26 作者:千家信息网编辑
千家信息网最后更新 2024年10月26日,一、相关参数:1、core-site.xml 文件修改以下配置项: fs.trash.interval 2880 HDFS垃圾箱设置,可以恢复误删除,配置的值为分钟数,0为禁用
千家信息网最后更新 2024年10月26日hdfs数据误删分析与恢复

一、相关参数:

1、core-site.xml 文件修改以下配置项:

     fs.trash.interval     2880     HDFS垃圾箱设置,可以恢复误删除,配置的值为分钟数,0为禁用




2、hdfs-default.xml 文件注意以下配置项:

                dfs.ha.log-roll.period      120      EditLog 日志滚动频率,单位为秒,默认是两分钟



二、分析过程

1、找到editlog日志所在目录

查看hdfs-site.xml文件,找到fs.namenode.name.dir配置项的值,如:file:/home/hadoop-2.6.0-cdh6.5.0/dfs/name

/home/hadoop-2.6.0-cdh6.5.0/dfs/name目录下的current文件里,就是editlog文件,如下图


2、使用命令查看edits_inprogress文件

 #hdfs oev -i edits_inprogress_0000000000000000023 -o edits_inprogress_0000000000000000023.xml

其中 -i 是输入文件名,-o是需要把解析的文件输出到该文件中

解析完成后,查看edits_inprogress_0000000000000000023.xml文件即可

3、打开文件分析

找到被删除的文件或文件夹,在edits_inprogress_0000000000000000023.xml文件中搜索相关项,如下所示:

    OP_RENAME_OLD          15      0      /dat      /user/root/.Trash/Current/dat      1454315297010      6832d4f9-4fa6-4dbb-89aa-ffaa26109078      6      

可以看出,HDFS中 /dat 文件是在 1454315297 时间点被移入回收站的

4、恢复文件

执行以下命令:

 #fs -mv   /user/root/.Trash/Current/dat    /dat


进行恢复


0