概要描述

本文主要描述跨机架 balance HDFS 数据的方法。

详细说明

使用场景

在多机架场景中，如果 datanode 在机架间分布不均衡，可能会导致机架间的数据倾斜，且通常的 balance 无法解决该问题，这是因为：

balance规定选取待移动block的时候不能破坏block的分布原则，也即不能造成block丢失，不能使一个block的副本数变少，也不能使一个block放置的机架数变少。

操作步骤

1 暂时关闭 HDFS 机架感知

参考HDFS 关闭或打开机架感知方案参考关闭机架感知。

2 做 HDFS balance 操作

参考HDFS balancer简单说明实施 HDFS balance。

3 打开 HDFS 机架感知

参考HDFS 关闭或打开机架感知方案参考打开机架感知。