AirflowとDockerで俺々データ分析基盤をつくってみた&Imageを公開してみた #kwskrb - Lean Baseball
ライフワーク（＆将来の仕事）としている野球データ分析の基盤をAirflow + Docker他で作りました. このハナシはkawasaki.rb #051 5年目突入LT大会で披露したLTの続きであり, PyConJP 2017のトークネタ「野球を科学する技術〜Pythonを用いた統計ライブラリ作成と分析基盤構築」のメインテーマ「分析基盤構築」の主軸となるハナシでもあります. 要約すると データ集め→前処理→データベース化の流れはAirflowを使うといい感じに実現できる. Airflowは高機能だが導入と運用に一手間かかる→困った→そうだ！Docker Imageにしちゃえ！→楽になったぞ！ そんなAirflowのDocker Imageとコードを公開したので気になる方はぜひ使ってほしい&PRとかいただけるとうれしいです. このエントリーの対象読者 データを集めて分析するお仕事・趣味をし
自前でデータパイプラインをサクッと構築できる「Airbyte」を試してみた | DevelopersIO
本記事は、データパイプラインを簡単に構築できるツールAirbyteでロードジョブを試していきます。 本アドベントカレンダーでは、日本でも海外でもマイナー寄りな製品を取り扱ってきてますが、多分一番知名度があるのがこのAirbyteになるかなと思います。 Airbyteについて Airbyteは2020年にサンフランシスコで創業されたテックカンパニーです。創業からわずか1年でシリーズAに到達し、$26Mの資金調達に成功しているスタートアップで、急激な成長速度で業界から注目を集めています。 Airbyte announces $26M Series A for open-source data connector platform | TechCrunch その最大の特徴は製品をOSSで公開しているという点でしょう。自身のAWSにデプロイすればAirbyteの機能をそのまま使えてしまう導入障壁が
【dbt小ネタ】 ログの集計 : incremental モデルの実運用 (upsert, リカバリ手法や自動復旧の実現） - KAYAC engineers' blog
カヤックSREの池田です。 最近、日本のデータエンジニアリング界隈でのdbt(Data build tool)の活用がじわじわと盛り上がってきています。 dbtはpythonのJinjaテンプレートを利用したSQLの拡張を実現し、ETL処理のT(データ変換)に関して強力な機能を提供してくれます。 dbt自体の詳しい説明などは、インターネット上に増えてきていますのでそちらにおまかせするとして、本記事ではdbtを使い慣れてきた人向けの小ネタを話します。 今回は『ログの集計』を例にincrementalモデルを運用する上での問題とその解決方法を紹介します。 www.getdbt.com まずはじめに dbt では モデルと呼ばれる*.sql とスキーマと呼ばれる*.ymlを記述することになります。 例えば、以下のようなsourceのスキーマがあるとします。 models/staging/log/
【Medium】2022 : Modern Data Stack
がく＠ちゅらデータエンジニア です。 ※2022年9月よりちゅらデータ株式会社にJoinしました データエンジニアリングな話題などをMediumで毎朝、サジェストされるんですが、これちゃんと読んでいかんとなーということで、読んだメモなどを残しておこうと思って書いて行こうと思います。 概要 今日はこちら 「2022年モダンデータスタック」 Modern Data Stackについての記事はたくさんあるので、読んだ方もいるかも知れない。 最近では Data Processing Frameworks（データ処理フレームワーク） Visualization Tools（可視化ツール、BIツール？） ETL Tools Development notebooks（JupyterNotebookみたいなやつかな？） Data Catalog といったものが現れてきている。 時代とともに新しい技術がで
Python3.7からは「Data Classes」がクラス定義のスタンダードになるかもしれない - Qiita
はじめに Python3.7が2018/06/15にリリースされる予定です。 https://www.python.org/dev/peps/pep-0537/#release-schedule Python3.7の新機能に Data Classes がありますが、これを使いこなせばクラス定義が楽になりそうです。 尚、Python3.7の環境作成は以下を参照して下さい。 もうすぐリリースされるPython3.7環境をDockerで作る - Qiita Data Classes とは データを格納するためのクラスを簡単に定義できる機能です。 クラス定義にデコレータを１つ付けるだけで__init__や__str__などの特殊メソッドを自動生成してくれます。 基本的な使い方 クラス定義にdataclassデコレータを付ける クラス変数でフィールドを定義する
システム開発で得たRedis利用ノウハウ | フューチャー技術ブログ
こんにちは。初投稿です。 2012年新卒入社の竹内です。入社当時を振り返るとOracle10g,11gを良く利用していおり、データモデリングなどテーブル設計が好きで、2018年4月ぐらいまでRDBとバッチに浸ってました。 さて、現在プロジェクトでRedisを使っているのですが、いままでRDB人間だっただけにKVSやRedisならではの特徴に四苦八苦してます。 苦しんだ分、色々な知見を得ることができているので、その内容をご紹介します！ 対象者 Redisの業務システム導入を検討している方 RDBとRedisの違いを知りたい方 現場的なRedisの利用方法を知りたい方 書いてないこと データ型やコマンドなど、HelloWorld的に公式ドキュメントを見て得られる情報 インストールなど、Redisを利用できるまでの手順 フェイルオーバーやバックアップをはじめとする運用に関する内容 データ永続化に
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
