データ基盤を支えるdesign doc
この記事はdatatech-jp Advent Calendar 2022の12月11日の記事です！ 概要 自チームでデータ基盤を作っていく際に使っているdesign docの紹介と、導入背景をここに記します 感じていた課題感 レビュアーにアサインされてプルリクを見るときに「このプルリクはどういう背景があって、どういうコードを書いたのか、どういうテストをしたから大丈夫なのか」を汲み取るのに時間がかかるなって思っていた 備忘録的にissueにたてる、とりかかるときにタイトルだけ埋めたissueを立てて走り出す、ということが多く感じて、事前に整理しておくともっと効率が上がるのではと思った データ基盤を作っていく際に、ログやテーブルの値の意味などをエンジニアにヒアリングすることがあるが、それをちゃんと蓄積したいと思った これに関しては、別途Notionで蓄積してるものがあるのですがGithubに
Index - Data Engineering Wiki
はじめに 普段は分析基盤／データ活用のクライアントワークに従事している私ですが、2023年11月～2024年2月にかけて、自社のマーケティング本部のデータ整備の支援をしました。 当時の責任者であるブライアンさんが入社後に、ツール選定を含め土台を整備してきていましたが（非常によくできていて私もとても勉強になりました）、手が回っていないところも多く、その部分を補完するような動きをしていました。 以前、「1年前の自分が読みたかった、データエンジニアリング入門」という記事で分析基盤の構築に関しては入門記事をまとめましたが、業務システムが関わる領域では違う考え方をすることも多くあります。 そこで、本記事では弊社株式会社primeNumber（pN）での業務システム／運用設計を事例に、Opsの領域におけるポイントをまとめてみようと思います。なお、3か月の取り組みのなかで整理してきた知見に限られているの
スタースキーマ
スタースキーマとはスタースキーマとは、データベース内のデータを整理することで理解・分析しやすくなった多次元データモデルで、データウェアハウスやデータベース、データマート、その他のツールに適用できます。スタースキーマの設計は、大規模なデータセットへのクエリを実行するために最適化されています。 1990 年代にラルフ・キンボールによって発表されたスタースキーマは、反復的なビジネス定義の重複を減らすことによってデータの保存や履歴の管理、データの更新を効率的に行い、データウェアハウスでのデータの集計やフィルタリングを高速に行うことができます。 ファクトテーブルとディメンションテーブルスタースキーマは、ビジネスデータをディメンション（時間や商品など）とファクト（金額や数量のトランザクションなど）に非正規化するために使用されます。 スタースキーマの中央には 1 つのファクトテーブルがあり、ビジネスのフ
Star Schema vs. OBT for Data Warehouse Performance | Blog | Fivetran
Which data warehouse schema offers better performance? Let’s find out. ContentsStar schema vs. OBT: An analysis of which is better for your data warehouse The results: Denormalized tables result in faster query response Analysis details Other considerations Data warehouse modeling is a crucial but overlooked part of the development of a data warehouse. Data warehouse modeling is the process of
データ分析の専門家である藤巻遼平氏は、33歳でNECの研究最高位である主席研究員に史上最年少で就任。18年2月、NECからの「カーブアウト」としてシリコンバレーで起業した。世界から注目される天才技術者は、なぜ就職先にNECを選び、いまも関係を続けているのか。田原総一朗が迫る――。 宇宙をやっていたのに、どうしてNECに？ 【田原】お生まれはどちらですか。 【藤巻】新潟の柏崎市です。両親とも新潟の出身で、父は東京電力に勤めていて、原子力系の仕事をしていました。ただ、2～3歳から東京に引っ越したので、育ちは東京です。 【田原】大学は東京大学の工学部。航空宇宙工学を専攻されたそうですね。航空宇宙というとロケットですか？ 【藤巻】航空宇宙は大きく4つの分野があります。まずはロケットエンジンで、次は材料・材質。そして超音速流体。最後は制御。そのうち私は制御を選びました。人工衛星「おりひめ」と「ひこぼ
PayPayのデータ分析基盤を支える専門組織が語る、開発体制とDWH/BIツール技術とは - TECH PLAY Magazine
登録ユーザー数5000万人、決済回数は36億回を超える「PayPay」。モバイルペイメント機能だけでなく、多機能なサービスを統合するスーパーアプリであり、日々大量のデータが蓄積されている。その膨大なデータセットにおけるデータ活用においては、どのように問題解決しているのか。全社データ分析基盤の開発・管理を行う専門組織である「データマネジメント部」が取り組んできた課題やDWHとBIツールを活用した解決策を語ってくれた。 PayPayデータ基盤チーム立ち上げと役割・運営について PayPay株式会社 コーポレート統括本部 システム本部データマネジメント部 部長 三重野 嵩之氏 まず、登壇したのはデータマネジメント部 部長の三重野嵩之氏。三重野氏は建設コンサルタントを1年半、北海道・札幌でSESを1年半、SIでソフトウェアエンジニアを約6年経験。このSIで小売企業向けのデータ分析基盤を構築した。そ
https://www.mage.ai/
Ubie Tech Talk は、医療AIスタートアップ Ubie のエンジニアが、技術的知見・プロダクトの内情などをお話ししたり、質問に答えたりするイベントです。「Ubieを支えるプロダクト基盤と分析環境」 をテーマにした本イベントに酒井氏が登壇。ここからは、実際の現場でのデータ活用について紹介します。前回はこちらから。 データ活用事例1：製薬企業向け事業 酒井直人氏（以下、酒井）：1つ目の事例が、製薬企業向けの事業です。（スライドを示して）少し簡略化していますが、データ活用面での全体感はこのようなイメージです。真ん中のUbie Pharma Consultingのメンバーが製薬企業に向けてソリューション提案を行い、案件をいただいてから定期的にレポーティングを行うという流れになっています。 それを我々Ubie Discoveryがデータ分析によってサポートを行う体制です。この事業に関して
GitHub - DataEngineer-io/data-engineer-handbook: This is a repo with links to everything you'd ever want to learn about data engineering
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
本チャプターのゴール Data Vault 2.0(以下 Data Vault) について、ざっくりイメージを掴むところまでをゴールとします。 Data Vault とは？ The Data Vault is a detail oriented, historical tracking and uniquely linked set of normalized tables that support one or more functional areas of business. It is a hybrid approach encompassing the best of breed between 3rd normal form (3NF) and star schema. The design is flexible, scalable, consistent, and adap
データエンジニアとしてのキャリアをスタートをさせたのは弊社dely株式会社に入社してからです。 そこから今日に至るまで考えていたデータエンジニアというもののキャリアや、そこから得られたデータエンジニアの今後の未来予想図をクラシルというプロダクトやデータ基盤を紹介しながら振り返りつつ、皆さんとお話をさせてください。 https://forkwell.connpass.com/event/274944/ https://www.youtube.com/watch?v=3nwLPFv1Fdo
© 2024 DATUM STUDIO Co. Ltd. データパイプラインの処理⽅法 データ処理にはバッチ処理とストリーミング処理の⼆つがある 源泉システム ストリーミング DWH Data Lake バッチ ü s3などにファイルを置いてもらう/ingestツールを使う ü 源泉システムの断⾯を保持するため扱いやすい ü Kafkaなどのメッセージングキューから連携 ü データの到着順が⼊れ替わることがあるので、ログ系のデータ向き ü バッチでのLoadが間に合わない場合にも採⽤される バッチ バッチ ストリーミング ü ⼀括ですべてのデータを処理 ü マシンパワーの強い近年のDWH製品と相性が良い ü viewやlambda viewによる実装 ü 分析に即時性が求められる場合に採⽤ される ü 複雑な処理設計が必要になる （個⼈的にはなるべく避けたい） （同左） ① ② ※ほんとは
データモデリングの価値
こんにちは。stable株式会社代表の宮﨑（@ikki_mz）です。 弊社では、データ分析・データサイエンス・データ基盤整備 など、データに関する色んな領域でクライアントの支援をしています。 これまでの活動（フリーランス含む）の中で、「データモデリング」に関して支援する事が多く、喜んでもらえることも多かったので、
データ基盤の○層構造を独り歩きさせない データモデリング設計 Data Ops Night #1
dbtを活用したデータ基盤の 論理・物理設計の現在地と振り返り / data warehouse logic design by using dbt
VOC分析を支えるデータ基盤とモダンデータスタックの取り組み【DeNA TechCon 2023】
youtube：https://youtu.be/fokewbBeRvo 概要： DeNAのカスタマーサポートやマーケティング業務では、数多くのサービスに対する反響の分析やリスク管理などを目的に、日々蓄積されるDeNAのあらゆるサービスのユーザーのご意見やレビューデータなど活用したVOC(Voice Of Customer)分析およびソーシャルリスニングが積極的に行われています。 これらデータの活用を進めるためGoogle Cloudでデータ基盤を構築・提供してきましたが、ツール保守などの運用コスト面やデータ品質の課題などが顕著となってきました。 そこで、データエンジニアリング界隈でトレンドとなっているモダンデータスタックに着目しつつ、どう課題を解決してきたか、また現在どういったことに取り組んでいるかをご紹介します。 登壇内でのリンク集： p2, https://engineering.d
スノーフレーク と スタースキーマ の違いと比較
技術主導の世界で企業が情報にますます依存するようになり、データを適切に移動、保存、処理する方法を理解することが年を追うごとに重要になってきています。もしあなたの組織が、会社のデータを整理して処理するためのより良い方法を探しているなら、スノーフレークスキーマ、スタースキーマ、およびこれら2種類のデータウェアハウススキーマの間の関係構成について学ぶ必要があります。 基本的に、スタースキーマは、データウェアハウス内のデータや情報をより効率的に整理する方法を提供します。一方、スノーフレークスキーマはスタースキーマのバリエーションであり、データ処理の効率化を図ることができる。この2つのプロセスは非常によく似ていますが、ユーザーも知っておくべき重要な違いがあります。 スタースキーマとスノーフレークスキーマの比較と、2種類のデータウェアハウススキーマが、企業データの移動、保存、処理、および複雑な分析の完
スタートアップにおけるデータマネジメントの始め方の事例紹介(datatech-jp Casual Talks #5)
datatech-jp Casual Talks #5での発表資料です。 - https://datatech-jp.connpass.com/event/270476/
BIツールとETL
talend Alteryx Fivetran Xplenty Cdata sync BQ DataTransferService Denodo BigQuery trocco dataspider DMX
はじめに はじめまして。VOOM事業統括本部 VOOM事業本部 サービスアナリシスチームの吉木と申します。データマネージャー 兼 データスチュワードとして日々の業務に取り組んでいます。 私が所属しているチームは、LINEヤフー株式会社の保有するデータを用いて、ビジネスに対する洞察の提供、施策や機能の効果を測定する分析活動の支援、KPIのモニタリングを行う用途のダッシュボードの提供などを主に行っています。 この記事では、データマネージャーとはどのような役割を担っているのか、そしてLINEヤフー株式会社における事業部メンバーのデータガバナンスに対する認識や意識を高めるために行った取り組みについての事例を紹介します。 私と同じようにデータマネジメントやデータガバナンスに関する活動や業務に取り組まれている方の参考になれば幸いです。 データマネージャーとは データマネージャーの業務内容についてご存じ
IntroductionIn this post we explore the shifting focus of Data Engineering from Data Infrastructure and Data Integration to Accessible Analytics, in Meta and the industry at large. However the tools that we use are largely focused on the former two which presents a major challenge for the function. We will showcase challenges this mismatch created during the evolution of Data Engineering at Meta a
データメッシュアーキテクチャの段階的な検討プロセスをご紹介します - KAKEHASHI Tech Blog
この記事は カケハシ Advent Calendar 2023 の19日目の投稿になります。 adventar.org 東 浩稔（あずま ひろとし）と申します。 私は、カケハシでデータプロダクトのPdM(プロダクトマネージャー)を務めております。 2023年の7月に入社し、全社のデータ利活用を促進するため、データプロダクトの整備・強化に取り組んでいます。 今回は、9月にDatabricks AI World Tour Tokyo 2023で発表した「データガバナンスの視点から見たデータメッシュアーキテクチャ」を元に 当社のデータメッシュアーキテクチャの詳しく掘り下げて解説いたします。 本書を読むことで得られること データメッシュアーキテクチャを段階的に検討するための手法やヒントが得られます。 当社はなぜデータメッシュアーキテクチャか？ 当社では、患者様や薬剤師様の医療体験を向上させるため、
はじめにデータエンジニアリングが興隆してから数年が経ち、各企業がデータ基盤に注力し始めたり、知見が溜まり始めています。 そんな流れがある中、データマートの乱立やパフォーマンスで悩んでいる方が多いのではないでしょうか？ そこで、本記事では重要な分析基盤の1つであるデータマートに焦点を当てつつ、データ基盤のデータモデリングから構築、運用に至るまでの手法と考え方を解説していきます。 データマートの目的と要件の明確化データマートには様々な用途がありますが、いずれの場合も最初に重要なのは、そのデータマートの目的と要件を明らかにすることです。例えば、単なる可視化(ダッシュボード)用なのか、多次元分析用なのか、アプリケーションへの組み込み用なのかです。 目的に応じて、モデリングアプローチ、データ粒度、スキーマ設計は全く異なってきます。さらに、リアルタイム性、セキュリティ、パフォーマンスなど、様々な要件の
2023-01-25 DS集会@VRChat
The New “Unified Star Schema” Paradigm in Analytics Data Modeling Review
IntroRecently I accidentally came across the new book of Bill Inmon and Francesco Puppini called “Unified Star Schema” (will refer to it USS downstream). Having a new book in 2020 from the father of data warehousing definitely grabbed my attention, I bought it and read it in the…
データモデルの設計とベストプラクティス（第1部）
ビジネスアプリケーション、データ統合、マスターデータ管理、データウェアハウジング、ビッグデータデータレイク、機械学習といったものは、いずれもデータモデルが共通の基本的要素となります（または、そうあるべきです）。この点を常に念頭に置きましょう。あるいは、（よく見られることですが）完全に無視することがないように注意してください。 データモデルこそが、Eコマースから、PoS、財務、製品、顧客管理、ビジネスインテリジェンス、IoTまで、Talendの高価値でミッションクリティカルのビジネスソリューションのほとんどすべての支柱です。適切なデータモデルがなければ、ビジネスデータはおそらく失われてしまうでしょう！ Talendのジョブ設計パターンとベストプラクティスについて取り上げたブログシリーズ（第1部、第2部、第3部、第4部）では、32のベストプラクティスを紹介し、Talendでジョブを構築する最善
6千万記事レコードの大規模データマイグレーション
本記事では、ストックマークで2022年の12月に実施した、6千万件を超える記事レコードの大規模データ基盤マイグレーションについて紹介いたします。本記事を読むことで、大規模データマイグレーションの勘所を実例から学べます。 本記事でお伝えする内容は以下の4点となっています 背景検討の進め方大変だったこと再現可能な知見背景ストックマークでは大量の記事データを利用するプロダクトとして、AnewsとAstrategyの2つのプロダクトがあります。どちらのプロダクトも共通の記事データストアにある内容に、プロダクトごとの弊社独自の自然言語処理を加えたものを活用しています。アーキテクチャを簡単に表すと次のようになっています。 AnewsとAstrategyでは解決する顧客課題が異なります。それぞれのプロダクト観点ごとに、顧客価値のディスカバリーを最優先としたことから、お互いのプロダクトで独自に進化してきた
Detect all errors Prevent bad data from sneaking into your business We’re fortunate enough to speak to a large number of companies about their approach to building reliable data. In doing so, we’ve noticed common steps that the best teams take to get the most out of their dbt tests. State of dbt testing in 2023 With the rise of data observability and ML-based anomaly detection it’s tempting to thi
No one is an island. Learnings from fostering a developers community.
英語で技術書を読もう：Fundamentals of Data Engineering 輪読会資料 まとめ - Qiita
概要 対象書籍を翻訳して輪読する勉強会です。 対象書籍 Fundamentals of Data Engineering (O'Reilly, 2022/07) https://www.amazon.co.jp/dp/1098108302/ 第00回 Preface 2023/04/03 connpass:https://gaisaba.connpass.com/event/279517/ 資料:https://qiita.com/Shumpei_Kubo/items/9cb9145b4b695b3b5346 箇所：Preface 第01回 Chapter3:Good Data Architecture 2023/04/10 connpass:https://gaisaba.connpass.com/event/279986/ 資料:https://qiita.com/Shumpei_Ku
データリネージの組織導入事例と今後の戦略発表者tosh2230（GMOペパボ） 発表資料＜後であれば更新する＞ 概要データリネージをはじめた背景データリネージとはデータの系譜を明らかにすること。データの可観測性の向上が目的。 Bigfootと名付けられたデータ基盤を運用している。 データ駆動のためのエコシステムの提供 サービスの動的な改善と意思決定の自動化をサポート GMOペパボはいろんな運営サービスがあります。複数サービスを活用していることによる困りごとが２点あります。 データ障害の原因や影響範囲を把握しにくい 業務データの活用状況を把握しにくい 業務データ全体に対するデータリネージがしたい。 データリネージ具体的な手段OSSでStairlightというものを開発しました。 特徴 SQLからデータのつながりを見つける コードベースにあるSQLを探す。 独立性が高い 詳しくはこちらへ GM
ネット広告データ利用制限と、DMPトッププレイヤーのかじ取り[インタビュー] - Exchangewire Japan
ネットユーザーのプライバシー保護に対する法整備や大手プラットフォームによる規制が進んでおり、ネット広告配信のデータサプライヤーは、今後の事業のかじ取りの見直しが求められているが、トッププレイヤーは現状をどのように見て、今後どのような方向に向かおうとしているのか？ パブリックDMP最大手といわれており、昨年10月に上場を果たしたインティメート・マージャー 代表取締役社長 簗島亮次氏に、お話を伺った。 （聞き手：ExchangeWire Japan 野下 智之） サード・パーティー・クッキー脱却は数年前から―読者の方にとっては改めてではありますが、貴社の事業領域についてお聞かせください 当社は、DMPの中でもサード・パーティー・データを取り扱うパブリックDMPを提供しています。 もともとは、サード・パーティー・クッキーを使って潜在顧客や見込み顧客を提示し、ディスプレイ広告を中心にターゲティング
![ネット広告データ利用制限と、DMPトッププレイヤーのかじ取り[インタビュー] - Exchangewire Japan](https://cdn-ak-scissors.b.st-hatena.com/image/square/51a159515cc89f3610406992846f14edb940766e/height=288;version=1;width=512/https%3A%2F%2Fcdn.exchangewire.com%2Fwp-content%2Fblogs.dir%2F3%2Ffiles%2F2020%2F06%2Fintimatemerger.png)
3分でわかるデータマネジメント【データアーキテクチャ】
はじめに ～データアーキテクチャと活動について解説～ 社内に存在する膨大な量のデータを管理・活用する際の指針となるのが今回紹介する「データアーキテクチャ」です。データマネジメントを行う企業は、まずデータアーキテクチャを設計し、それを実現するために計画的な取り組みを続けていく必要があります。 MDMやDWH/BI、データ品質等と比べてあまり広く知られていませんが、データマネジメントにおいてデータアーキテクチャはとても重要です。DMBOK2(データマネジメントの知識体系を記載した書籍)の中でも、データアーキテクチャはデータマネジメント知識領域の一つとして扱われています。（そもそも“データマネジメントとは？”“DMBOK2とは？”という方は、こちらの記事『データマネジメントとは何か』もご覧ください。） 本記事では、データアーキテクチャとそれにまつわる活動について、弊社の知識・経験をもとに簡単に解
大規模ヘルスケアDBにおけるデータ品質管理の取り組み【DeNA TechCon 2022 Autumn】
You Tube：https://youtu.be/66JYhie7gs4 概要： ヘルスケア事業におけるリアルワールドデータ（RWD）の疫学研究・薬剤の臨床開発への利活用は世界的に見てもより加速しており、これらのデータ分析において、データの完全性、正確性が必須条件となります。 一方で、一言で「データ品質を担保する」といっても、データ品質を損なうようなトラブルは多岐に渡ります。シンプルなデータの欠損に限らず、特定層のデータ欠損や、データクレンジング・加工後に発生する意図しない不整合など、想定とは外れたケースも多く発生し得ます。 ヘルスケア業界におけるRWDから正確なデータ分析を行うために必要なデータ品質管理における自社の取り組みをご紹介します。 登壇内でのリンク集： p8, https://www.yodosha.co.jp/jikkenigaku/keyword/3649.html p1
公開資料 – JDMC
２．「AI・データ活用のためのコンプライアンス研究会」の成果物・「倫理フレームワーク（シンプル版）Excel形式（日本語版・英語版）。ご利用にあたってはExcelに記載の利用規約をご確認ください
データの価値発揮を最大化する：2022年のチーム活動振り返り - Leverages データ戦略ブログ
はじめに こんにちは。 データ戦略室では、「レバレジーズ全社のデータ活用水準を底上げし、データが事業の競争優位性を生み出す状態を作り出す」というミッションの元、データを取得するところからデータ活用のビジネス接続まで、それぞれが専門性を活かして日々業務を行っています。今回の記事では、昨年1年を振り返ってどういった仕事をしてきたのか、今後どういったことに取り組んでいくのかということを各グループのリーダーに記載していただきました。今回の記事を通して、データ戦略室の雰囲気や会社に対して担っている役割が少しでも伝われば幸いです。 データ戦略室全体について 昨年は正社員で中途・新卒合わせて5人の方に入社していただき、業務委託でも2名の方に参画していただきました。2022年1月時点と比較して、組織の規模が1.5倍以上に大きくなっており、会社の成長スピード以上の速さで人員拡大を行っています。また、データ戦
2023/07/25に、TECH TRACK vol.2で発表した山邉の資料です。
DataOps Principles: How Startups Do Data The Right Way By Brad Ito, CTO & Co-Founder If you have been trying to harness the power of data science and machine learning —but, like many teams, struggling to produce results— there’s a secret you are missing out on. Building models and extracting sophisticated insights requires lots of good data, and the best way to get good data quickly is by using Da
Data engineering at Meta: High-Level Overview of the internal tech stack
Data engineering at Meta: High-Level Overview of the internal tech stack This article provides an overview of the internal tech stack that we use on a daily basis as data engineers at Meta. The idea is to shed some light on the work we do, and how the tools and frameworks contribute to making our day-to-day data engineering work more efficient, and to share some of the design decisions and technic
会員コラム 【Vol.106】インフォマティカ・森本卓也さん、心に沁みるデータマネジメントの名言10選＋α 2023.07.05 JDMC会員による「リレーコラム」。 メンバーの皆さんそれぞれの経験・知見・想いをリレー形式でつなげていきます。 今回、バトンを受け取ったのは、インフォマティカ・ジャパン株式会社 森本 卓也さんです。 皆さん、こんにちは。インフォマティカの“もりたく”こと森本卓也（https://twitter.com/moritata9）です。 インフォマティカはデータから価値を生み出し、ビジネスに革新をもたらすことをビジョンに掲げ、データマネジメントクラウドを提供しているクラウドカンパニーです。私はデータマネジメントのエバンジェリストとして、データマネジメントの重要性を日本の皆さまに広めることをミッションに日々活動しております。 今回、私がこの会員リレーコラムのバトンを受け
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Index - Data Engineering Wiki
BtoBビジネスにおけるMOps／SalesOpsとデータマネジメント入門 - Qiita
機械学習の天才技術者がNECを選んだワケ 研究者1000人のうち数人の「主席」
アナリストによる高度な分析フェーズ前のデータ利活用 Ubieのデータアナリストが語る、事業ごとの運用体制
Data Vault 2.0 とは？｜dbtvault 入門
クラシルのデータ活用の現在とプロダクトファーストから考えるデータエンジニアのキャリア
データパイプラインバッチ設計で私が考えること
データマネージャーが事業部のデータガバナンス意識改善に取り組んだお話
The future of the data engineer — Part I
データマートのモデリングとパフォーマンスチューニング｜zono
データパイプラインを作って改良する はじめてのデータ/アナリティクスエンジニアリング
The complete guide to building reliable data with dbt tests
OpenMetadataとdbtによるデータカタログの構築
datatech-jp Casual Talks #4 レポート｜よしむら＠データマネジメント担当
いちデータエンジニアが出会った、 アナリティクスエンジニアというキャリア
DataOps Principles: How Startups Do Data The Right Way - Retina.ai
【Vol.106】インフォマティカ・森本卓也さん、心に沁みるデータマネジメントの名言10選＋α – JDMC
xtech.nikkei.com
kanon.px.ebb.jp
www.itmedia.co.jp
pzv.jp
www.itmedia.co.jp
markezine.jp