データ基盤再設計でレスポンス速度を 40倍高速化し、顧客体験を改善するまでの軌跡
はじめに こんにちは、ダイニーのデータチームのエンジニアをしている kawamitsu です。 ダイニーでは飲食店さま向けのデータ分析プロダクトを提供しています。 本記事では、膨大な店舗データの処理によるアプリケーションのボトルネックを、データ基盤によって解決した事例を紹介します。 先に成果を説明しますが、データ基盤の再設計によりユーザーのデータ分析においてタイムアウトのほぼ全廃と全店舗・任意期間のデータ取得を可能にしました。 この記事を通して、データエンジニアリング × アプリケーションエンジニアリング の開発に少しでも興味を持っていただけたら幸いです。 背景：飲食店におけるデータ活用の重要性 飲食店の経営において、データの活用は重要な経営判断の基盤となります。 注文履歴、決済履歴、監査目的の会計取消・修正履歴など、多岐にわたる情報を、全店舗分まとめていつでもアクセスできる環境が求められ
DatabricksレイクハウスにおけるData Vaultのベストプラクティスと実装 - Qiita
以前の記事、DatabricksレイクハウスプラットフォームにおけるData Vault実装の規範的ガイドでは、Data Vaultのコアコンセプトを説明し、Databricksでの活用ガイドを提供しました。我々には、レイクハウスでのData Vaultのサンプルや容易な実装を探している多くのお客様がいらっしゃいます。 本記事では、DatabricksレイクハウスプラットフォームにおけるData Vaultの実装方法にディープダイブし、Delta Live Tablesを用いたリアルタイムでのEDW Data Vaultモデルのロードのライブのサンプルを提供します。 この記事でカバーするハイレベルのトピックは以下の通りです: なぜData Vaultなのか レイクハウスにおけるData Vault DatabricksレイクハウスにおけるData Vaultモデルの実装 まとめ 1. なぜ
Europeana Data Model Documentation - Europeana Professional
This website uses cookies to ensure you get the best experience. By clicking or navigating the site you agree to allow our collection of information through cookies. Check our Privacy policy. OK All the documentation you need about the Europeana Data Model (EDM). General EDM factsheet and PresentationThe EDM Factsheet and an EDM presentation sum up the rationale and expected benefits of EDM. EDM P
logfmt — brandur.org
If you’ve ever run an app on Heroku, you may have come across log messages produced by the Heroku router and wondered about their unusual formatting. Each line consists of a single level of key/value pairs which are densely packed together compared to other well-known structured formats like JSON. For example: at=info method=GET path=/ host=mutelight.org fwd="124.133.52.161" dyno=web.2 connect=4ms
Fast and flexible observability with canonical log lines
Logging is one of the oldest and most ubiquitous patterns in computing. Key to gaining insight into problems ranging from basic failures in test environments to the most tangled problems in production, it’s common practice across all software stacks and all types of infrastructure, and has been for decades. Although logs are powerful and flexible, their sheer volume often makes it impractical to e
Michelangelo PyML: Introducing Uber's Platform for Rapid Python ML Model Development
AIMichelangelo PyML: Introducing Uber’s Platform for Rapid Python ML Model DevelopmentOctober 23, 2018 / Global As a company heavily invested in AI, Uber aims to leverage machine learning (ML) in product development and the day-to-day management of our business. In pursuit of this goal, our data scientists spend considerable amounts of time prototyping and validating powerful new types of ML model
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ディメンショナル・モデルの概要とこれからの活用局面（１）
Data Vault Best practice & Implementation on the Lakehouse
Data Vault Whitepaper
GitHub - linkml/linkml: Linked Open Data Modeling Language
AutomateDV
dbtとBigQueryで始めるData Vault入門
Snowflake Web Model 1.0.0 released
A Graph is a Graph is a Graph: Josh Shinavier at Data Day Texas / Global Graph Summit 2019
training/07-data-models-new-field at v3.1 · inveniosoftware/training
http://invenio.readthedocs.io/en/latest/developersguide/create-a-datamodel.html
Tips for Optimizing the Data Vault Architecture on Snowflake (Part 2) - Blog
Tips for Optimizing the Data Vault Architecture on Snowflake (Part 3) - Blog
Cloud Bigtable & time series data
Providing Metadata Discovery on Large-Volume Data Sets