HDFS 在线缩容磁盘(缩容可以立即生效)

  其他常见问题
内容纲要

概要描述

磁盘损坏,或者磁盘共享,需要踢掉hdfs 的 datanode 的某个数据盘,在不重启的情况下,实现这种方法;

详细说明

  1. Manager 页面修改 HDFS 配置
  2. 重载 datanode 配置
  3. 等待副本补全

详细步骤

Manager 页面修改 HDFS 配置

进入 manager 页面配置 hdfs,剔除特定磁盘;如下图所示:(将 /mnt/disk4/hadoop/data 剔除配置)

file

然后配置服务

file

重载 datanode 配置

重载datanode 配置之前,先 hdfs dfsadmin -report 查看一下当前的情况,这里检查了一下 block 情况;

file

hdfs dfsadmin -reconfig datanode 172.22.22.10:50020 start

出现以下日志

SUCCESS: Change property dfs.datanode.data.dir

file

reconfig 之前,-report 检查发现磁盘空间 433.97 GB

file

reconfig 之后,-rreport 检查发现磁盘空间 326.74 GB
file

等待数据补全;

hdfs dfsadmin -report 查看 block 数量减少至 -reconfig 之前的状态即可;
恢复的时间仅供参考:1分钟,复制500个block;

file

这篇文章对您有帮助吗?

平均评分 0 / 5. 次数: 0

尚无评价,您可以第一个评哦!

非常抱歉,这篇文章对您没有帮助.

烦请您告诉我们您的建议与意见,以便我们改进,谢谢您。