Gitlab CI
Gitlab을 통해 자동 CI와 Spark Submit 까지 진행해보았다.
More …Spark structured streaming 개념
스파크 스프리밍은 실시간으로 유입되는 데이터 처리를 위한 스파크 기반의 프레임워크이다. 크게 DStream 방식과 Structured Streaming 방식을 지원한다.
More …Spark-Junit Test
스파크로 개발 후 주요 기능에 대해 테스트를 진행해보자.
More …DataFrame 주요 기능
1. 날짜 포맷 변경
More …Fair Scheduler 소개
Yarn에서 스케줄러란 노드매니저에게 제출된 Job들을 처리하기 위해, Job에게 Yarn이 관리하는 자원 (vCores, Memory)를 할당해 주는 기술이다.
More …