[Kubernetes Meetup Tokyo #43 - YouTube](https://www.youtube.com/watch?v=42VjCYO0Uks) - Yahoo!Japan AIPlatformとWorkflow管理 (30min) - Argo WorkflowとAirFlowの使い分け - AIPF - ACP (AI Cloud Platform) - k8s platform - Laketahoe - Notebook - ![[Pasted image 20210721191659.png]] - Falco, HDFS, NetApp, Quobyte - Jupyter - NotebookはPVCに保存 - CopperArgos - k8sのserviceaccountごとにx509証明書発行 - Airflow - PythonでDAGをかける - 実運用が考えられている。backfillによる再集計。 - Argo Workflows - Workflow - Airflowのhelm提供 - k8s nativeな人が少なめ。外部通信が多かったので、まずはAirflow - argo workflowを提供 - Airflow as a Serviceを作ろうとしてい - Argo workflowとAirflow ![[Pasted image 20210721192534.png]] - Argo workflowはyamlだけどいろいろできる - backfillの再集計や、個別のjobのリトライなどは工夫が必要 - 基本的にはAirflow - Airflowの弱点 - バージョンアップが面倒 Airflowコードをかえないといけない？ - 大きな会社なので、変更連絡が大変 - 共通部分をargo workflow cluster tetmpaleを使用。 - hive、presto、papermill、teradata、laketahoe... - Airflow内で、argo submitを実行 - MainのstepをAirflowで書いて、処理はArgo-workflow - k8s管理 - ansible tower & kubespray - ArgoとAirflowの使い分け - Argoのテンプレート充実 - job単位ではargo workflow - Airflowではjob全体のコントロール