Pythonでいい感じにバッチを作ってみる - prefectをはじめよう - JX通信社エンジニアブログ
JX通信社シニア・エンジニアで, プロダクトチームのデータ活用とデータサイエンスのあれこれ頑張ってるマン, @shinyorke（しんよーく）です. 最近ハマってるかつ毎朝の日課は「リングフィットアドベンチャー*1で汗を流してからの朝食」です. 35日連続続いています. 話は遡ること今年の7月末になりますが, JX通信社のデータ基盤の紹介&「ETLとかバッチってどのFW/ライブラリ使えばいいのさ🤔」というクエスチョンに応えるため, このようなエントリーを公開しました. tech.jxpress.net このエントリー, 多くの方から反響をいただき執筆してよかったです, 読んでくださった方ありがとうございます！ まだお読みでない方はこのエントリーを読み進める前に流して読んでもらえると良いかも知れません. 上記のエントリーの最後で, 次はprefect編で会いましょう. という挨拶で締めさせ
データ基盤を支える技術 - ETLフレームワークの実践的な選び方・組み合わせ方 - JX通信社エンジニアブログ
JX通信社シニア・エンジニア兼データ基盤担当大臣の@shinyorke（しんよーく）です. 最近やった「ちょっとした贅沢」は「休日, 自宅で🍺片手に野球を見ながらUberEatsで注文したランチを楽しむ」です. ⚾と飲食を提供してくださる皆さまに心から感謝しております🙏 JX通信社では, 機械学習を用いたプロダクト開発・施策 プロダクト・サービスの改善に関する分析 日々のイベントをメトリクス化して可視化（いわゆるBI的なもの） を円滑かつ効率よく行うため, 昨年からデータ基盤を整備・運用しており, 現在では社員のみならず（スーパー優秀な）インターンの皆さまと一緒に活用し, 成果を出し始めています. ainow.ai なぜデータ基盤が必要か?どういった事をしているのか?...は上記のインタビューに譲るとして, このエントリーでは「データ基盤を支える技術 - ETL編」と称しまして, Py
EAIとETL、その違いってそもそもなんでしょう？ | アシスト
目次 ▶EAIとETLの成り立ちと仕組み ▶EAIとETLの守備範囲の違い ▶EAIツール、ETLツールの選定に迷ったら… こんにちは！マーケティング担当の寺田です。 今回のテーマは「EAIとETLの違い」です。 EAIとETLは、共に「ある目的のためにデータを処理する」ための手段です。 なので、できること(機能)としてはとても似ていたりします。 世の中には多くのEAIツール、ETLツールが存在しますが、 このブログではツールの機能面の違いを比較するのではなく ・EAIとETLのそもそもの成り立ちや仕組みの違い ・EAIとETL、それぞれどのような特性があり、どのような業務に向いているのか ・自社でツールを選定することになった時に必要となるポイント などを解説していこうと思います。 EAI（Enterprise Application Integration）とは、直訳すると「企業内アプリ
GitHub - pawl/awesome-etl: A curated list of awesome ETL frameworks, libraries, and software.
Airflow - "Use airflow to author workflows as directed acyclic graphs (DAGs) of tasks. The airflow scheduler executes your tasks on an array of workers while following the specified dependencies. Rich command line utilities make performing complex surgeries on DAGs a snap. The rich user interface makes it easy to visualize pipelines running in production, monitor progress, and troubleshoot issues
Bonobo • Data-processing for humans • Python ETL
Write atomic data transformations using simple python callables. Connect them in a directed graph. Execute. Bonobo is a lightweight Extract-Transform-Load (ETL) framework for Python 3.5+. It provides tools for building data transformation pipelines, using plain python primitives, and executing them in parallel. Bonobo is the swiss army knife for everyday's data.
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - BrainPad/cliboa: application framework for ETL(ELT) pipeline, process
awesome-etl/README.md at master · pawl/awesome-etl · GitHub
Develop your first ETL job in Python using bonobo – Python Pandemonium – Medium