Analystのスループットを継続的に最大化させるデータ基盤の運用思想
この記事は「Eureka Advent Calendar 2020」の16日目の記事です。 こんにちは、Head of BIの鉄本です。 15日目は Jun Ernesto Okumuraによるエウレカのデータ組織運営の1年間でした。今日はこの話に関連して、もう少し具体的にEureka BIチームのAnalystの分析フローを支える分析環境について書きます。主に運用の思想や仕組みづくりの紹介になります。 想定読者Data Lake・Data Ware House・Data Martなどのデータ基盤周辺知識があるAnalystを活かすデータ基盤の開発運用に興味がある前置きBIチームの紹介やAnalystの業務フローに関する前置きが少し長くなりますがお付き合いくださいませ。 お急ぎの方は、本題まで飛ばしてください。 チームのミッションとデータ基盤BIチームは、「価値のある意思決定」と「意思決定
Athenaを使ったデータ処理基盤の設計 - Speee DEVELOPER BLOG
こんにちは。UZOUのプロダクト開発をしているエンジニアの@kanga333です。 UZOUでは広告データの集計の一部にAmazon Athenaを採用しています。 この記事ではUZOUにおけるAthenaを使ったデータ処理基盤の設計について紹介したいと思います。 全体構成 データ処理基盤の全体構成は次のようになっています。 以後はそれぞれのコンポーネントについて順次紹介していきます。 FleuntdによるS3への集約 UZOUでは特にFluentdアグリゲータのような中継サーバは設けていません。広告配信サーバに常駐するFluentdがログを直接S3にプットしています。 以下はFluentdのS3 output部分の設定の一部抜粋です。 <buffer time> @type file timekey 60m </buffer> path example_table/dt=%Y%m%d/h
PythonのPipelineパッケージ比較：Airflow, Luigi, Gokart, Metaflow, Kedro, PipelineX - Qiita
PythonのPipelineパッケージ比較：Airflow, Luigi, Gokart, Metaflow, Kedro, PipelineXPythonワークフローデータサイエンスPipelineETL この記事では、Open-sourceのPipeline/Workflow開発用PythonパッケージのAirflow, Luigi, Gokart, Metaflow, Kedro, PipelineXを比較します。 この記事では、"Pipeline"、"Workflow"、"DAG"の単語はほぼ同じ意味で使用しています。 要約 👍: 良い 👍👍: より良い 2015年にAirbnb社からリリースされました。 Airflowは、Pythonコード（独立したPythonモジュール）でDAGを定義します。 （オプションとして、非公式の dag-factory 等を使用して、YAML
【Kubernetes】Airflow on Kubernetesで最強ETL基盤【Airflow】 - Qiita
はじめに 昨年末にAirflowをさわってみてなかなか便利だと思いました。 【Airflow】最近よく聞くAirflowに入門！EC2で動かしてみた【CI/CD】 そこで次のステップとしてKubernetesとの連携に挑戦してみました。検索してみると「Airflow on Kubernetes」と呼ばれているようです。調べたかぎり、日本語の記事があまりなかったのでこの記事が役にたてばいいなと思います。 =====2020.1.7 追記===== 関連記事をリンクします。 【Airflow on Kubernetes】DockerイメージのbuildとPodのdeployの仕組みについて 【Airflow on Kubernetes】KubernetesPodOperatorの使い方 Airflow on Kubernetesとは ？ タスクスケジューリングやGUIでの実行管理が可能なAir
一休のデータフローをAirflowを使って実行してみる - Qiita
この記事は一休.com Advent Calenrad 2017の11日目です。 データサイエンス部小島です。 現在はレコメンドまわりを担当しています。 試験的に導入予定のETLツールAirflowについて書こうと思います。 Airflowについて 一言でいうと、高機能なcronです。 Pythonでかけて、タスクごとの依存関係を定義できます。 元々はAirbnbが独自で開発し、今はApacheのIncubetorのプロジェクトになっています。 一休のデータフローを考えてみる 一休ではセッションごとの情報を集約してまとめています。 そのデータをDWHに加工するまでの流れをまとめると以下のようになります。 上記のデータ処理を日次で行うようなものをAirflowで実装していきたいと思います。 環境の構築 今回は簡単にgithubに環境を公開してくれている方のをおかりしてセットアップしていきます
AirflowとDockerで俺々データ分析基盤をつくってみた&Imageを公開してみた #kwskrb - Lean Baseball
ライフワーク（＆将来の仕事）としている野球データ分析の基盤をAirflow + Docker他で作りました. このハナシはkawasaki.rb #051 5年目突入LT大会で披露したLTの続きであり, PyConJP 2017のトークネタ「野球を科学する技術〜Pythonを用いた統計ライブラリ作成と分析基盤構築」のメインテーマ「分析基盤構築」の主軸となるハナシでもあります. 要約すると データ集め→前処理→データベース化の流れはAirflowを使うといい感じに実現できる. Airflowは高機能だが導入と運用に一手間かかる→困った→そうだ！Docker Imageにしちゃえ！→楽になったぞ！ そんなAirflowのDocker Imageとコードを公開したので気になる方はぜひ使ってほしい&PRとかいただけるとうれしいです. このエントリーの対象読者 データを集めて分析するお仕事・趣味をし
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
