概念データモデルから始める真にデータドリブンな製造業DX | QUNIE
「真にデータを中心に据えたデジタルトランスフォーメーション（DX）とは何か？」。これを考察し、実現するためのアプローチを提案するのが本稿の主題である。DX、システムモダナイゼーション、マスターデータ管理（MDM）、データマネジメント、GAIA-X、データスペースなど、キーワードは多く存在し、製造業に限らずこの10年で多くの企業がデータドリブンな経営や業務改革、システム改革に挑んできた。 筆者らも製造領域のこのようなプロジェクトに数多く参画してきたが、直近の傾向として、自社のさまざまな施策を、データを起点にした取り組みとして見直す動きがある。これまでもデータ重視の姿勢は打ち出していたものの、その実態としては、従来の業務改革ありきの活動に終始しており、データ検討は後回しにされてきた。真にデータドリブンな経営・改革を目指し取り組むべきは、自社のバリューチェーン全体を、経営環境や技術の変化に応じて
ディメンショナルモデリング勉強会を実施しました - 10X Product Blog
データ基盤チームに所属しているデータエンジニアの吉田(id:syou6162)です。10X社内のデータマネジメントの仕事をしています。 最近、社内でディメンショナルモデリング勉強会を行なったですが、なぜ勉強会を行なったのか、どのように行なったのか、勉強会を行なった結果何が得られたかについてまとめます。 ディメンショナルモデリング勉強会開催の背景 勉強会の進め方やスコープ 勉強会の参加者 勉強会で学んだ内容 Four-Step Dimensional Design Process キーの設計について 複数スタースキーマを適切に利用し、ファントラップを避ける コンフォームドディメンション まとめ: 勉強会で得られたもの ディメンショナルモデリング勉強会開催の背景 前回のエントリにまとめた通り、10Xのデータマネジメントの課題の中でも「データウェアハウジングとビジネスインテリジェンス」は優先度が
データマートのモデリングとパフォーマンスチューニング｜zono
はじめにデータエンジニアリングが興隆してから数年が経ち、各企業がデータ基盤に注力し始めたり、知見が溜まり始めています。 そんな流れがある中、データマートの乱立やパフォーマンスで悩んでいる方が多いのではないでしょうか？ そこで、本記事では重要な分析基盤の1つであるデータマートに焦点を当てつつ、データ基盤のデータモデリングから構築、運用に至るまでの手法と考え方を解説していきます。 データマートの目的と要件の明確化データマートには様々な用途がありますが、いずれの場合も最初に重要なのは、そのデータマートの目的と要件を明らかにすることです。例えば、単なる可視化(ダッシュボード)用なのか、多次元分析用なのか、アプリケーションへの組み込み用なのかです。 目的に応じて、モデリングアプローチ、データ粒度、スキーマ設計は全く異なってきます。さらに、リアルタイム性、セキュリティ、パフォーマンスなど、様々な要件の
マイクロサービス分割におけるモデリングの観点 - Qiita
マイクロサービスアーキテクチャの5章は、モノリスをどうやって分割していくかが焦点です。サービス間での依存関係をできるだけ断つために、共有データや共有テーブルを避け、分割していくやり方が書かれています。 モデリングの観点からは、記述が不足なところがあって、現場のモデルに照らし合わせて考えることが難しいので、これをもう少し掘り下げて考えてみます。 データモデリングの手法としては、拙作のイミュータブルデータモデルが前提となりますので、未見の方はそちらをまずご参照ください。 エンティティは、リソース系とイベント系の2種類に大別するので、これらの関連の種類で言うと、R-R, E-R, E-Eの3つあります。これを順に分割するとどうなるかを考えます。 これらの呼び方はTM手法に準じます。 http://tmdmaker.osdn.jp/doc/ch08.html リソース-リソース(R-R) 強い依存
アナリティクスエンジニアのキャリアとデータモデリング 〜資料「30分でわかるデータモデリング」を読む前に知ってほしいこと〜 / 20240116
株式会社リクルート様の社内勉強会で用いた資料となります。 関係者の許諾を得て公開しています。 ＜採用・カジュアル面談＞ https://kazaneya.com/recruit ＜サービス提供＞ https://kazaneya.com/service
Ready Or Not. The Post Modern Data Stack Is Coming.
Ready or Not. The Post Modern Data Stack Is Coming. Barr Moses CEO and Co-founder, Monte Carlo. Proponent of data reliability and action movies. Shane Murray Shane is Field CTO of Monte Carlo. Previously, he served as the SVP of Data & Insights at The New York Times. If you don’t like change, data engineering is not for you. Little in this space has escaped reinvention. The most prominent, recent
Star Schema vs. OBT for Data Warehouse Performance | Blog | Fivetran
Which data warehouse schema offers better performance? Let’s find out. ContentsStar schema vs. OBT: An analysis of which is better for your data warehouse The results: Denormalized tables result in faster query response Analysis details Other considerations Data warehouse modeling is a crucial but overlooked part of the development of a data warehouse. Data warehouse modeling is the process of
超入門！テーブル設計をデータモデリングから考えよう
基本から学ぶ テーブル設計 超入門！ 〜データモデリングとテーブル設計の基本を学ぼう〜 https://modeling-how-to-learn.connpass.com/event/242944/ にてお話した際のプレゼン資料です。 入門者に向けて、テーブルを設計する上でモデリングすると良いよという話をしました。（熟練者は、そうだよねーっておさらいするか、そこは別の考え方があるんじゃないなどを呟いて貰えればといった内容です） モデリングして設計する際に、色々なモデルがあります。その中で、データモデルは静的な要素が強いモデルなので、モデリング全般を考えた際に、入門者にとって捉えやすいのではと考えています。 テーブルを設計する上で、データモデリングをしてデータモデルを作ることで、より良いテーブル構造を考えやすくなります。 #テーブル設計 #モデリング #データモデル #RDRA #概念モデ
GPTs を使ってBigQueryデータモデリング支援アプリを作ってみる
この記事は datatech-jp Advent Calendar 2023 17 日目の投稿です。 TL;DR GPTsのInstructionsとActionsを使うことで、対話的にデータモデリングの支援を受ける期待が持てる結果となった。完璧では無いが、荒い成果物を素早く生成してくれる強みがある。 特にデータモデリングについては、Instructionsが重要で手順・ルールを準拠させるには有識者（データモデリング、GPTs)のインプットと改善が必要 Code Interpreterと組み合わせて行くと、固定的なInput/Outputにも対応できる可能性がある。これはまだ未検証 はじめに こんにちは、DeNAのデータエンジニアの Shinichiro Joya と申します。 昨年は、パーソナルデータの扱い方についての記事を書きましたが、今年は猫も杓子も生成AIの年だと振り返ります。 ト
ディメンショナルモデリングでアクセス分析のファクトテーブルをどう設計するか
風音屋では、データエンジニア、データアナリスト、データコンサルタントを募集しています。 書籍執筆者やOSSコントリビューターなど、業界を代表する20名以上のアドバイザーと一緒にベストプラクティスを追求できる環境です。 ぜひカジュアルトークをお申し込みください。 こんにちは、風音屋 データエンジニアの妹尾です。 この記事は、datatech-jp Advent Calendar 2023 15 日目の記事です。 ディメンショナルモデリングを採用する場合、アクセスログやGA4のファクトテーブルは、どのように設計すれば良いのでしょうか。 この疑問について風音屋でディスカッションをしました。 本記事では、ディスカッションした内容をご紹介します。 社内ディスカッションの様子 ディスカッションの様子 アドバイザーの皆様の協力もあり、課題を整理し、対応方針を洗い出すことができました。 @tvtg_24さ
概念・論理・物理データモデルの違いは人によって異なる？データ総研の考え方をご紹介
はじめに ～概念・論理・物理データモデルの分け方～ こちらの記事『3分間でわかるデータマネジメント【データモデリング】』では、DMBOKにおける概念・論理・物理データモデルの違いを紹介しました。しかし、同記事でも書きましたが、実際のところ概念・論理・物理の考え方は人によってまちまちです。本記事では参考までに、データ総研で採用している、3層スキーマをもとにした概念・論理・物理データモデルの分け方を紹介いたします。 また、データ総研では概念データモデルを描く際、詳細度に応じて3種類の記載法を使い分けています。それぞれについて、概要や用途をご説明します。 概念データモデルの関連資料ダウンロード 概念データモデルにおけるエンティティの適切な配置ルールを解説する資料をダウンロードいただけます。 こちらの配置ルールは、EDW(Enterprise Data World)というデータマネジメントの海外カ
DWH データモデリング まとめ - Qiita
概要 データウェアハウスモデリング入門（ダイジェスト版）（事前公開版）というSlideShareを読んだ DWHについては概要を何となく理解したけど、DWHのデータモデリングが気になったので検索してたら上記のソースを発見したので 読みながら調べた結果をまとめてみる ↓参考 スライドの主目的 ・データ分析に必要なデータモデリングについて理解する ・主業務で利用しているデータをデータ分析向けのデータモデルに変換できるようになる →ここが気になっていたので重要 データモデルとは データモデルの主な目的は、データの定義とフォーマットを提供することによって、情報システムの開発を支援すること データモデルには目的や意図があり、業務システムのDBのデータモデル(正規化されている)とDWH等のデータモデルでは用途が異なる データモデルの分類 当スライドでは以下のように分類 ・オンライン系データモデル OL
ディメンショナル・モデリング
VOYAGE GROUP Techlog Advent Calendar 2020 13日目 ディメンショナル・モデリングとは ディメンショナル・モデリング Wikipediaには以下のような説明がある。 Dimensional Modeling (DM) is a data structure technique optimized for data storage in a Data warehouse. データウェアハウスにデータを格納するために、最適化されたデータ構造の手法。 背景 情報システムは2つの大きなカテゴリに分類される。1つはビジネスプロセスの実行支援する業務システム、もう1つはビジネスプロセスを分析支援する分析システム。それぞれ根本的に異なる目的があるため、異なる原則に基づき設計が進化してきた。 業務システムの目的は、ビジネスプロセスで発生した重要な事実や行動を記録する
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
The Lost Art of Dimensional Modeling
「データモデル大全」は良い本だ - プログラマの思索
DWHにおけるデータモデリングで大事にしている考え方 
実践オブジェクト指向設計
サブ資料④データモデル中心の設計
ディメンショナル モデリング入門 / introduction-to-dimensional-modeling
【みんなのデータモデル講座】英雄編〜正規化・ERモデルの基礎〜