목록2023/12/03 (3)

GuriLogs.

[Airflow] About DAGs

About Dags 기본 구조 with DAG( dag_id, default_args, start_date, description, schedule_interval, tags ) as dag: def ~ ~ ~: ~ ~ ~ Operator airflow.operators - Airflow Documentation DummyOperator : 아무 작업도 안함. BashOperator : Bash Shell 스크립트 실행 PythonOperator : Python Code(.py) 실행 Catch Up & Backfill Catch Up Python 코드로 DAG을 작성할 때 사용(DAG 안의 파라미터), default는 False Backfill을 수행할 수 있는 옵션. False이면, start_dat..
Data Engineering/Data Platform 2023. 12. 3. 14:30
[Airflow] 로컬에 Airflow 설치 및 시작하기

1️⃣ Install Airflow pyenv 가상환경 사용 pyenv virtualenv 3.9.15 airflow-env cd ~~ pyenv activate airflow-env # Airflow needs a home. `~/airflow` is the default, but you can put it # somewhere else if you prefer (optional) export AIRFLOW_HOME=~/airflow # Install Airflow using the constraints file AIRFLOW_VERSION=2.4.2 PYTHON_VERSION="$(python --version | cut -d " " -f 2 | cut -d "." -f 1-2)" # For exam..
Data Engineering/Data Platform 2023. 12. 3. 14:23
TMUX 사용법

tmux(terminal multiplexer)란? 시간이 오래 걸리는 코드를 실행시킬 때, 컴퓨터를 꺼도 계속 실행이 유지되도록 사용하는 프로그램 vi [파일이름].py : .py 생성 esc -> :wq : writequit 저장하고 나간다는 뜻 q : 바꾼 내용이 없을 때 그냥 나간다는 뜻 q! : 강제종료(적었던 내용 다 날라감) 주요 명령어 정리 tmux new -s [사용할 이름] : 새로운 tmux 서버 생성 python [파일이름].py : python으로 [파일이름].py 실행 ** tqdm이나 print문을 넣어서 진행상황 확인하면 편함 → 이러고 나가있으면 저절로 실행되는 마법이 부려진다... 에러가 났는지 tmux에서 확인하는 방법 tmux ls : 현재 존재하는 tmux 서버 리스..
Development 2023. 12. 3. 14:17
이전 Prev 1 Next 다음