YOJOのデータ基盤と今後の展望 | PharmaX株式会社
目次はじめに従来のデータ基盤（構想段階）3つの問題と解決策の振り返り問題1：データ変換処理の分散化解決策問題2：データパイプラインのワークフロー管理解決策問題3：手作業によるインフラ構築の負債化解決策データ基盤の今後の展望はじめにはじめまして。2021年の6月からYOJOのBI (Business Intelligence) チームでデータエンジニアとして働いている 古家 (@enzerubank) です。 突然ですが、みなさんデータ基盤を開発したことはありますか？ 私はYOJOに来るまでは無く、社内にも知見のあるメンバーがいなかったため、技術責任者の上野と一緒に学びながら、四苦八苦して作り上げていきました。 本記事ではデータ基盤の構築についてここ半年くらいで試行錯誤したことを振り返っていきたいと思います。 従来のデータ基盤（構想段階）私がジョインした時に構想されていたデータ基盤がこちらで
Modern Data Stack / モダンデータスタックというトレンドについて - satoshihirose.log
はじめに Modern Data Stack ? Modern Data Stack の特徴やメリット、関連するトレンド データインフラのクラウドサービス化 / Data infrastructure as a service データ連携サービスの発展 ELT! ELT! ELT! Reverse ETL テンプレート化された SQL and YAML などによるデータの管理 セマンティックレイヤーの凋落と Headless BI 計算フレームワーク (Computation Frameworks) 分析プロセスの民主化、データガバナンスとデータメッシュの試み プロダクト組み込み用データサービス リアルタイム Analytics Engineer の登場 各社ファウンダーが考える Modern Data Stack さいごに Further Readings はじめに Modern Dat
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
