Capacity, Fair Scheduler 비교
Yarn에서 제공하는 스케줄러인 Capacity, Fair 스케줄러에 대해 알아보았다.
More …shell script 기본
bash shell을 사용해 스크립트 작성 및 실행을 해보자.
More …sshfence 이슈
active 네임노드를 강제로 죽이고 standby 네임노드가 active가 되는 것을 확인하기 위해 설정한 sshfence 가 잘 먹히는지, DFSZkFailoverController가 자동으로 위 명령을 수행하는 것을 확인해보았다.
More …Rack-Awareness 설정
하둡 Rack 설정을 하기위해 아래 참고 사이트를 참고한다. Hadoop 공식 홈페이지 - rack awareness
More …HDFS, Yarn HA 구성
HDFS, Yarn의 네임노드와 리소스매니저는 단일 장애점(SPOF)이기 때문에 HA 구성을 해야한다.
More …