HADOOP Balancer

Balancer 사용

Hadoop 의 데이터노드들의 저장소 사용에 대한 균형 상태를 조절하여 줍니다. Balancer 는 데이터 노드들의 블럭을 Hadoop Daemon 으로 지나치게 자주 사용되는 데이터노드의 블럭을 덜 사용되는 데이터노드로 옮겨줍니다.
데이터의 불균형이 되면 Map/Reduce 를 사용할 경우 데이터노드들의 IO 에 영향을 주게 되므로 균형을 맞추어주는 것이 좋습니다.

아래의 명령을 사용하여 실행할 수 있으며, 오직 하나의 Balancer 만이 실행될 수 있습니다.

명령어에서 “-threshold” 옵션을 주지 않을 경우의 임계치는 10% 가 됩니다. “-threshold <임계치>” 를 줄 경우 데이터노드들의디스크 사용율에 대한 범위를 <임계치> 내로 맞추어 집니다. 아래의 명령어는 데이터노드들간의 사용율을 2% 내외로 맞추는 명령어 입니다.

Shell

1	hadoop balancer -threshold 2

Balancer 는 클러스터를 사용하는 다른 클라이언트에 영향을 최소화하기 위하여 백그라운드로 실행하게 되며, 재분배를 해야하는 블럭이 많을 경우, 대역폭을 크게 잡으면 성능에 영향을 줄 수 있습니다.

대역폭의 변경은 Hadoop 데이터 복제 대역폭 변경 을 참고하시면 됩니다.

참조 - http://blog.beany.co.kr/archives/1601

http://hadoop.apache.org/docs/r2.3.0/hadoop-project-dist/hadoop-common/CommandsManual.html#balancer