概要描述

本文介绍一下 HDFS 删除重装过程中遇到的一个问题。
本案例集群版本：4.8.4

详细说明

TDH4.X 的版本，删除 HDFS，重新安装的时候，在执行到 initialize name service nameservice1 > format name node 步骤时会报错，报错内容如下:

2019-12-07 14:38:23,993 INFO namenode.NameNode: SHUTDOWN_MSG:
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at amen04-17-484/172.22.39.17
************************************************************/
2019/12/07 14:38:24 CST [init_hadoop-hdfs-namenode-hdfs1] init_hadoop-hdfs-namenode-hdfs1 failed.
io.transwarp.manager.opas.exception.OperationException: Failed to format Namenode hadoop-hdfs-namenode-hdfs1

问题原因

首先确认该集群上是否安装过HDFS；如果安装过HDFS，且需要保留其中的数据，请不要继续下面的步骤，而应进行 [备份或升级] 操作；

如果该集群上的没有需要保留数据的 HDFS，可继续下面的步骤，清空 HDFS 中的残存数据

解决方法

所有 journal Node 上，清空数据，保留目录

/hadoop/journal 中的所有内容；然后执行 service hadoop-hdfs-journalnode-hdfs1 restart

• 确认 Journal Node 节点，如下图可知包括：amen04-17-484、amen05-18-484、amen06-19-484，在每个节点上清空目录中的数据

• 重启Journal Node

[root@amen05-18-484 journal]# service hadoop-hdfs-journalnode-hdfs1 restart
Stopping Hadoop journalnode:                               [  OK  ]
stopping journalnode
Starting Hadoop journalnode:                               [  OK  ]
starting journalnode, logging to /var/log/hdfs1/hadoop-hdfs-journalnode-amen05-18-484.out
[root@amen05-18-484 journal]#

在所有 Name Node 上，清空 dfs.namenode.name.dir 配置的相应目录的所有内容

• 确认 Name Node 节点，本案例包括：amen04-17-484、amen05-18-484

• 确认 dfs.namenode.name.dir 所配置的相应目录，可知是：/mnt/disk1/hadoop/namenode_dir,/mnt/disk2/hadoop/namenode_dir

[root@amen05-18-484 journal]# cd /etc/hdfs1/conf/
[root@amen05-18-484 conf]# grep -C 2 "dfs.namenode.name.dir" *
grep: backup: Is a directory
hdfs-site.xml-    
hdfs-site.xml-    
hdfs-site.xml:        dfs.namenode.name.dir
hdfs-site.xml-        /mnt/disk1/hadoop/namenode_dir,/mnt/disk2/hadoop/namenode_dir
hdfs-site.xml-    

• 清空相应目录的内容

在所有 Data Node 上，清空 dfs.datanode.data.dir 配置的相应目录的所有内容

• 确认 Data Node 节点，本案例包括：amen04-17-484、amen05-18-484、amen06-19-484

• 确认 dfs.datanode.data.dir 所配置的相应目录，可知是：/mnt/disk1/hadoop/data,/mnt/disk2/hadoop/data

[root@amen05-18-484 conf]# grep -C 2 -w 'dfs.datanode.data.dir' *
grep: backup: Is a directory
hdfs-site.xml-    
hdfs-site.xml-    
hdfs-site.xml:        dfs.datanode.data.dir.perm
hdfs-site.xml-        755
hdfs-site.xml-    
--
hdfs-site.xml-    
hdfs-site.xml-    
hdfs-site.xml:        dfs.datanode.data.dir
hdfs-site.xml-        /mnt/disk1/hadoop/data,/mnt/disk2/hadoop/data
hdfs-site.xml-    
[root@amen05-18-484 conf]# 

• 清空相应目录的内容

上面3步执行完之后，点击重试

可以看到HDFS服务可以正常安装