Airflow 환경구성

[duri-wip]

설치 환경

OS: ubuntu 24.04
HW사양: AWS EC2 t2.xlarge

Airflow 공식 가이드

Running Airflow in Docker

Fetching docker-compose.yaml

1. airflow에서 제공하는 docker-compose.yaml파일을 받습니다.

curl -LfO 'https://airflow.apache.org/docs/apache-airflow/2.9.1/docker-compose.yaml'

2. 이 yaml파일 안에서 불필요한 설정을 변경합니다.

AIRFLOW__CORE__LOAD_EXAMPLES: 'false'

• 예제파일 사용하지 않기

3. 디렉토리를 생성하고 airflow_uid를 .env 파일에 설정합니다.

mkdir -p ./dags ./logs ./plugins ./config
echo -e "AIRFLOW_UID=$(id -u)" > .env

Initialize the database

이 명령어를 통해 데이터베이스를 셋업합니다.

docker compose up airflow-init

Running Airflow

docker compose up

문제가 발생한 경우 삭제하는 방법

1. 컨테이너랑 볼륨 내리기

docker compose down --volumes --remove-orphans

• remove-orphans : 현재 Docker Compose 파일에 정의되지 않은 컨테이너들도 함께 제거하기. 다른 구성에서 실행되고 있는 컨테이너가 있는 경우 주의해서 사용해야하는 옵션입니다.

2. docker-compose.yaml 파일이 있는 경로의 모든 파일 삭제하기