Balancer 사용

Hadoop 의 데이터노드들의 저장소 사용에 대한 균형 상태를 조절하여 줍니다. Balancer 는 데이터 노드들의 블럭을 Hadoop Daemon 으로 지나치게 자주 사용되는 데이터노드의 블럭을 덜 사용되는 데이터노드로 옮겨줍니다.
데이터의 불균형이 되면 Map/Reduce 를 사용할 경우 데이터노드들의 IO 에 영향을 주게 되므로 균형을 맞추어주는 것이 좋습니다.

아래의 명령을 사용하여 실행할 수 있으며, 오직 하나의 Balancer 만이 실행될 수 있습니다.

명령어에서 “-threshold” 옵션을 주지 않을 경우의 임계치는 10% 가 됩니다. “-threshold <임계치>” 를 줄 경우 데이터노드들의디스크 사용율에 대한 범위를 <임계치> 내로 맞추어 집니다. 아래의 명령어는 데이터노드들간의 사용율을 2% 내외로 맞추는 명령어 입니다.

Balancer 는 클러스터를 사용하는 다른 클라이언트에 영향을 최소화하기 위하여 백그라운드로 실행하게 되며, 재분배를 해야하는 블럭이 많을 경우, 대역폭을 크게 잡으면 성능에 영향을 줄 수 있습니다.

대역폭의 변경은 Hadoop 데이터 복제 대역폭 변경 을 참고하시면 됩니다.

참조 - http://blog.beany.co.kr/archives/1601

http://hadoop.apache.org/docs/r2.3.0/hadoop-project-dist/hadoop-common/CommandsManual.html#balancer

2012-09-17 11:18:42,607 (SinkRunner-PollingRunner-DefaultSinkProcessor) [WARN - org.apache.flume.sink.hdfs.HDFSEventSink.process(HDFSEventSink.java:442)] HDFS IO error 
org.apache.hadoop.ipc.RemoteException: org.apache.hadoop.hdfs.server.namenode.SafeModeException: Cannot create file/flume/log.1347848226488.tmp. Name node is in safe mode. 
The ratio of reported blocks 0.9952 has not reached the threshold 0.9990. Safe mode will be turned off automatically. 
        at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.startFileInternal(FSNamesystem.java:1220) 
        at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.startFile(FSNamesystem.java:1188) 
        at org.apache.hadoop.hdfs.server.namenode.NameNode.create(NameNode.java:628)

Hadoop이 정상적인 종료를 하지 않았을 때, 에러가 난다.

비정상적인 종료시 hadoop 은 safe 모드로 이동하는데. 종료시 아래와 같은 명령을 내려서 restart할 때 문제가 없도록 해야 한다.

$ ./bin/hadoop dfsadmin -safemode leave 
Safe mode is OFF

출처 - http://knight76.tistory.com/entry/Hadoop-Name-node-is-in-safe-mode-%EC%97%90%EB%9F%AC-%ED%95%B4%EA%B2%B0

HADOOP REF

http://codeflow.co.kr/question/518/hadoop-%ED%8A%9C%ED%86%A0%EB%A6%AC%EC%96%BC/

http://codeflow.co.kr/question/521/hadoop-%ED%8A%9C%ED%86%A0%EB%A6%AC%EC%96%BC-wordcount-v10-%EC%98%88%EC%A0%9C/

http://kickstarthadoop.blogspot.kr/2011/04/word-count-hadoop-map-reduce-example.html

http://bcho.tistory.com/650