파이썬 기반의 워크플로우 오케스트레이션 도구로, 데이터 파이프라인과 같은 복잡한 워크플로우를 구축, 실행, 모니터링, 관리하는 데 사용됩니다. 스크립트를 몇 줄의 코드로 프로덕션 워크플로우로 전환하여 복원력 있고 역동적인 데이터 파이프라인을 만들 수 있도록 지원합니다. 

주요 특징

  • 파이썬 친화적: 파이썬 함수에 데코레이터(@flow, @task)를 추가하는 방식으로 워크플로우를 정의하기 때문에 별도의 DSL(도메인 특화 언어)을 배울 필요가 없습니다.
  • 유연성: 워크플로우를 로컬 머신, 서버 클러스터, 클라우드 등 다양한 환경에서 실행할 수 있는 하이브리드 실행 모델을 제공합니다.
  • 동적 워크플로우: 정해진 그래프에 따라 실행되는 것이 아니라, 실행 시점의 조건에 따라 워크플로우가 동적으로 변경될 수 있습니다.
  • 실패 처리 및 관찰: 내장된 상태 추적, 재시도, 로깅, 알림 기능 등을 통해 실패를 자동으로 처리하고 워크플로우의 상태를 실시간으로 모니터링할 수 있습니다.
  • 데이터 보안: 하이브리드 모델을 사용하기 때문에 사용자 코드가 프리펙트 서버에 상주하지 않아 데이터 보안을 강화할 수 있습니다.
  • 개방형 및 클라우드 버전: 오픈소스 버전(프리펙트 코어)은 자체 호스팅이 가능하며, 프리펙트 클라우드는 향상된 확장성, 거버넌스, 관찰 가능성 등의 엔터프라이즈 기능을 제공하는 유료 서비스입니다. 

주요 사용 사례

  • 데이터 파이프라인: 데이터 추출, 변환, 적재(ETL) 작업을 자동화하고 안정적으로 관리합니다.
  • 머신러닝(ML) 워크플로우: 모델 학습, 배포, 모니터링 등 복잡한 ML 파이프라인을 간소화하고 자동화합니다.
  • 자동화된 데이터 작업: 매일 실행되는 스크립트나 보고서 생성과 같은 반복적인 데이터 작업을 자동화합니다. 

경쟁 도구인 에어플로우(Airflow)와의 비교

  • 철학: 프리펙트가 파이썬 코드에 유연하게 적응하는 라이브러리 방식이라면, 에어플로우는 코드가 프레임워크의 규칙을 따르도록 강제하는 방식입니다.
  • 데이터 처리: 프리펙트는 태스크 간에 데이터를 메모리에서 직접 전달할 수 있어 효율적이고 동적인 워크플로우를 만듭니다. 에어플로우는 기본적으로 배치 처리에 중점을 둡니다.
  • 초기 설정: 프리펙트는 설정이 더 쉽고 개발자 경험에 중점을 두지만, 에어플로우는 성숙하고 방대한 커뮤니티를 바탕으로 복잡한 엔터프라이즈 워크플로우에 강점을 보입니다.

https://github.com/PrefectHQ/prefect