목록Data Engineering/Data Platform (2)

GuriLogs.

[Airflow] About DAGs

About Dags 기본 구조 with DAG( dag_id, default_args, start_date, description, schedule_interval, tags ) as dag: def ~ ~ ~: ~ ~ ~ Operator airflow.operators - Airflow Documentation DummyOperator : 아무 작업도 안함. BashOperator : Bash Shell 스크립트 실행 PythonOperator : Python Code(.py) 실행 Catch Up & Backfill Catch Up Python 코드로 DAG을 작성할 때 사용(DAG 안의 파라미터), default는 False Backfill을 수행할 수 있는 옵션. False이면, start_dat..
Data Engineering/Data Platform 2023. 12. 3. 14:30
[Airflow] 로컬에 Airflow 설치 및 시작하기

1️⃣ Install Airflow pyenv 가상환경 사용 pyenv virtualenv 3.9.15 airflow-env cd ~~ pyenv activate airflow-env # Airflow needs a home. `~/airflow` is the default, but you can put it # somewhere else if you prefer (optional) export AIRFLOW_HOME=~/airflow # Install Airflow using the constraints file AIRFLOW_VERSION=2.4.2 PYTHON_VERSION="$(python --version | cut -d " " -f 2 | cut -d "." -f 1-2)" # For exam..
Data Engineering/Data Platform 2023. 12. 3. 14:23
이전 Prev 1 Next 다음