# Apache Airflow The Apache Software Foundation が提供するオープンソースのワークフローオーケストレーションツール。DAG(Directed Acyclic Graph)として処理全体を定義し、各処理ステップを Task、Task の実処理を Operator として記述する。Operator は SSH 実行や Slack 通知など個別処理を抽象化した部品で、公式に 100 種類以上の Provider が Operator 群を提供する。Sensor は条件を満たすまで待機する特殊な Operator である。UI 上で DAG グラフ・タスクログ・コードエディタを備え、実行履歴を可視化できる。(Source: [[@2026__JANOG58__ネットワーク監視の自動化はどこまでできるのか - Apache Airflowによるアラート対応基盤]] p.9-23) [[LINE株式会社|LINEヤフー株式会社]] は Apache Airflow を中核に据えたネットワークアラート対応基盤 [[oyakata]] を構築し、Operator を基盤開発チームが提供・NW チームがワークフローとして利用する分業モデルを採用した。 『機械学習システムデザイン』第10章によれば、Airflowは黎明期のワークフローオーケストレーターの1つで、もともとAirbnbによって開発され2014年にリリースされた。演算の大規模なライブラリが付属し、さまざまなクラウドプロバイダー・データベース・ストレージで使いやすい点、および「Configuration as Code(コードによる設定)」の原則に従いワークフローをYAMLではなくPython(コード)で定義する設計思想が特徴とされる。一方で同章は、(1) ワークフロー全体を1つのコンテナにパッケージ化するモノリシックな設計、(2) DAGがパラメーター化されておらずワークフローにパラメーターを渡せない、(3) DAGが静的で実行時に動的なステップを生成できない、という3つの欠点を指摘し、Argo・Prefectはこれらの欠点に対処するために開発された次世代のワークフローオーケストレーターだと位置づける。(Source: [[@2023__OReillyJapan__機械学習システムデザイン - Chapter 10 MLOpsにおけるインフラとツール]] §10.3.2) ## 関連 - [[oyakata]] — Apache Airflow + 内製 API から成る NW アラート対応基盤 - [[ワークフロー自動化]] — 関連概念 - 概念: [[機械学習基盤]] - ソース: [[@2023__OReillyJapan__機械学習システムデザイン - Chapter 10 MLOpsにおけるインフラとツール]](§10.3.2, 3つの欠点と次世代ツールとの比較)