Kim Jinung

Prerequisite Kubernetes executor에 대한 설명은 제일 첫 번째 글에서 다루어서 생략한다. Goal - Airflow Kubernetes exeucotr 설정 1. Kubernetes excutor (1) Kubernetes executor 설정 두 번째 포스팅에서 만들었던 Airflow helm value.yaml 파일에 Airflow executor 항목이 있다. 기본 옵션은 "CeleryExecutor" 인데, 이를 "KubernetesExecutor" 로 변경 한다. (2) Airflow upgrade 변경한 yaml 파일로 airflow 업그레이드를 진행한다. helm upgrade --install airflow apache-airflow/airflow -n airflo..

Prerequisite 1. Airflow on Kubernetes Apache Airflow는 쿠버네티스에 친숙한 프로젝트를 목표로 하고 있으며, 공식 helm 차트를 관리하고 있다. 해당 차트를 이용해서 쿠버네티스 클러스터에 비교적 쉽게 에어플로우를 구축할 수 있다. G jinyes-tistory.tistory.com Native Airflow를 사용하면 local directory에 dag를 저장하고 사용하면 되지만, kubernetes는 컨테이너 형태(상태)로 리소스를 관리하기 때문에, 언제든 Airflow가 종료되었다가 재시작이 될 수 있다. Airflow는 remote directory 기능인 git sync를 제공하는데, 해당 기능을 이용해서 DAG 파일 저장소로 github reposito..

Apache Airflow는 쿠버네티스에 친숙한 프로젝트를 목표로 하고 있으며, 공식 helm 차트를 관리하고 있다. 해당 차트를 이용해서 쿠버네티스 클러스터에 비교적 쉽게 에어플로우를 구축할 수 있다. Goal - Airflow를 Kubernetes cluster에서 운영할 때의 장점이 무엇인지 파악한다. - Helm chart를이용해서 Airflow를 K8s 환경에 구축한다. 1. Airflow를 왜 kubernetes에서 운영해야 할까? Kubernetes의 핵심은 Container를 개발자가 원하는 상태로 유지시켜주는 것이다. 그리고 이를 Airflow에도 적용할 수 있다. Airflow scheduler, webserver, flower 등을 pod로 띄워서 주기적으로 health check 하..