Apache Flume 셋팅 및 Kafka to HDFS 연동
Flume 홈페이지에서 다운로드 받음
https://flume.apache.org/
More …nifi 기본 셋팅
Apache Nifi 셋팅
More …virtual box - 클러스터 구성
개인 PC에서 elasticsearch, kafka 클러스터 구성을 해보기 위해 virtualbox를 이용했다.
S3에 Snapshot을 이용한 백업, 복원 방법
elasticsearch에 저장된 데이터를 s3에 snapshot을 이용해 백업, 복원 시키는 방법을 알아보자.
먼저 S3 플러그인 설치를 진행한다.
kafka-fluentd 연동
이번에 kafka의 다른 데이터를 저장소로 옮길 때, fluentd를 이용했습니다.(elasticsearch, s3)
fluentd에 fluent-kafka-plugin을 제공을 해주어 쉽게 데이터를 이동시킬 수 있었습니다.
fluentd-kafka-plugin 버전은 0.7.3, ruby-kafka는 0.6.5를 이용했습니다.