Kim Jinung

Prerequisite 1. Airflow on Kubernetes Apache Airflow는 쿠버네티스에 친숙한 프로젝트를 목표로 하고 있으며, 공식 helm 차트를 관리하고 있다. 해당 차트를 이용해서 쿠버네티스 클러스터에 비교적 쉽게 에어플로우를 구축할 수 있다. G jinyes-tistory.tistory.com Native Airflow를 사용하면 local directory에 dag를 저장하고 사용하면 되지만, kubernetes는 컨테이너 형태(상태)로 리소스를 관리하기 때문에, 언제든 Airflow가 종료되었다가 재시작이 될 수 있다. Airflow는 remote directory 기능인 git sync를 제공하는데, 해당 기능을 이용해서 DAG 파일 저장소로 github reposito..

Apache Airflow는 쿠버네티스에 친숙한 프로젝트를 목표로 하고 있으며, 공식 helm 차트를 관리하고 있다. 해당 차트를 이용해서 쿠버네티스 클러스터에 비교적 쉽게 에어플로우를 구축할 수 있다. Goal - Airflow를 Kubernetes cluster에서 운영할 때의 장점이 무엇인지 파악한다. - Helm chart를이용해서 Airflow를 K8s 환경에 구축한다. 1. Airflow를 왜 kubernetes에서 운영해야 할까? Kubernetes의 핵심은 Container를 개발자가 원하는 상태로 유지시켜주는 것이다. 그리고 이를 Airflow에도 적용할 수 있다. Airflow scheduler, webserver, flower 등을 pod로 띄워서 주기적으로 health check 하..