ワークフロー管理プラットフォームのCI環境をクラウドネイティブへ - Pepabo Tech Portal
こんにちは。あなただけの彦星になりたい、鹿児島が生んだ三大Hikoの一人、和彦こと、P山 です。 今日はデータ基盤チームで利用しているワークフロー管理プラットフォームのApache Airflow(以降Airflow) で利用しているDAGのCI環境をクラウドネイティブな技術を利用して、リニューアルした実装を紹介します。 DAGというのは Directed Acyclic Graph の略で有向非巡回グラフと訳されます。Airflowではそれぞれのタスクをまとめたものを1つのDAGとして定義します。 多くの方になじみのない言葉でしょうから、この記事内においては「プログラムコード」と脳内変換していただければ読みやすいです。 リニューアル前 データ基盤チームではAirflowの実行基盤としてGCPのCloud Composer を利用しています。 自動テストを行うために、GitHub Acti
仲の良いチームじゃないと成り立たない技術がある - jfluteの日記
タイトルに迷いました。 技術？技術課題？問題解決？技術方式？少し広い意味に捉えてください。 jfluteの10年以上の、様々な現場での経験を元にしています。昔も今も全部振り返ってみました。 かぶストーリー かぶを収穫します！ resort「かぶを収穫しますよー」 sea「はーい」 land「はーい」 piari「はーい」 resort「seaさんはこのエリア、landさんはこのエリア...」 sea「はーい」 land「はーい」 piari「はーい」 resort (seaさん、landさん、piariさん、みんな仲悪いんだよねぇ。。。) sea「収穫できましたー」 land「収穫できましたー」 piari「収穫できましたー」 resort「よっし！」 収穫量が増えてきました resort「かぶを収穫しますよー」 sea「はーい」 land「はーい」 piari「はーい」 resort「か
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
