AirflowとDockerで俺々データ分析基盤をつくってみた&Imageを公開してみた #kwskrb - Lean Baseball
ライフワーク（＆将来の仕事）としている野球データ分析の基盤をAirflow + Docker他で作りました. このハナシはkawasaki.rb #051 5年目突入LT大会で披露したLTの続きであり, PyConJP 2017のトークネタ「野球を科学する技術〜Pythonを用いた統計ライブラリ作成と分析基盤構築」のメインテーマ「分析基盤構築」の主軸となるハナシでもあります. 要約すると データ集め→前処理→データベース化の流れはAirflowを使うといい感じに実現できる. Airflowは高機能だが導入と運用に一手間かかる→困った→そうだ！Docker Imageにしちゃえ！→楽になったぞ！ そんなAirflowのDocker Imageとコードを公開したので気になる方はぜひ使ってほしい&PRとかいただけるとうれしいです. このエントリーの対象読者 データを集めて分析するお仕事・趣味をし
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://airflow.apache.org/docs/apache-airflow/stable/start/docker.html
PyCon.DE 2018: Building Your Own Data Science Platform With Python & Docker - Joshua Görner - YouTube
