はてなブックマーク

概要 データ分析基盤（概念モデル）におけるサービスレイヤーに関する整理を実施します。 本記事にて、下記の記事におけるサービスレイヤーの詳細を記載します。 最強のデータ分析基盤を目指して～汎用的なデータ分析基盤の選定方法の提案～ 定義 サービスレイヤーの定義 データ活用を行う上で最適なクエリを発行できるようにデータを保持する層。 物理レイヤー（サービスレイヤー）の定義 物理的にデータを保持することで、最適なクエリを発行できるようにする層。 論理レイヤー（サービスレイヤー）の定義 論理的に構造化したデータモデルを保持することで、想定文脈内での意味を結びつけたクエリを発行できるようにする層。 コンポーネント詳細 番号 データ基盤におけるレイヤー コンポーネント名 説明 サービス例

概要 データベースの性能検証によく利用されるTPC-HとTPC-DSをざっくり整理する。 TPCとは TPCとは、Transaction Processing Performance Councilの略であり、トランザクション処理性能評議会である。データベースのトランザクション性能検証を作成・検証を目的とした団体である。複数の性能検証ベンチマークがあり、TPC-E、TPC-H等が有名である。 TPCのテスト一覧 TPCのActive Benchmarksには下記のものがあり、TPC-HとTPC-DSはそのうちの１つのベンチマークである。 Benchmark/Document Current Version Specification Source Code

概要 dbt（Data Build tool）を、前提知識となるデータエンジニアリングにおける現状を踏まえて、どういったツールであるかを説明します。dbtがデータエンジニアリングのあるべき姿としてデザインされており、共有されることが少ないデータエンジニアリングのナレッジを含むため、dbtを利用しない場合でも本記事の内容は有益な情報となっております。 dbtの概要については、下記の記事で整理しています。 データエンジニアリングの技術背景 ストレージコンピューティングの分離が可能なデータ処理エンジン（Spark、Presto等）がデータ分析基盤のデータストアとして用いられるようになってきています。従来であればデータレイクではデータの管理が困難であったが、レイクハウスフォーマット（Delta Lake、Hudi、Iceberg等）の開発によりデータレイクにACID特性を持たせられるようになり、デ

概要 データエンジニア界隈で話題となってきたdbtに関する調査内容を共有します。 OSS版のdbtでも機能が充実しており、データエンジニアの方には一部の機能の利用だけでも価値があるツールです。 必要に応じて、この記事を更新します。 dbt（Data Build Tool）とは dbtとはData Build Toolの略であり、dbt Labs社が開発しているデータ連携のELTにおけるT（データストア内でのデータ変換）の実施をサポートするツールです。 機能をざっくり整理すると下記のものがあり、SQL文のコンポーネント化やドキュメントの自動生成に特異性があります。 有償版であるdbt cloudとOSS版であるdbt Coreがあります。dbt cloudにて、developer版という個人検証用の無償ライセンスもあるので、とりあえず触りたい方はこちらがおすすめです。 引用元：dbt Pri

はじめに データレイクの普及に伴い、再注目されているデータカタログについて整理します。本投稿は、Data Management Body of Knowledge 日本語版（以後、 DMBOK ）をベースに投稿者の解釈を加えてものであり、DMBOKに準拠しているわけではないことに留意してください。 データカタログとは データカタログとは、データモデルとData Integration and Interoperability（データ統合と相互運用性）のメタデータに関する、カタログの作成（定義・抽出・蓄積）、および、カタログの利用（探索・把握・共有・配信）によるデータガバナンス支援ツールです。 メタデータとは、DMBOKにて、下記のように記載されています。 最も一般的な定義である「データに関するデータ」は単純過ぎて誤解を招きやすい。メタデータとして分類できる情報の種類は幅広い。ITプロセスと

概要 本記事にて、データ分析基盤の検討の進め方を記載します。データ分析基盤の概念モデルを検討した上で、それにサービスをマッピングを行い選定を行うプロセスを紹介します。 サービスを選定する際には、ガートナーなどの外部期間の評価報告レポートが参考になります。ガートナーは、特定の分野ごとにマジック・クアドラントを発表しており、製品ごとの弱点も記載されているなど参考になる情報が記載されております。最新のトレンドを反映された評価となっていることから、IT投資による優位性を保ちたいのであれば、適切な評価をされているサービスを選定すべきです。ガートナーの報告書は有料コンテンツではありますが、ソフトウェアベンダー（特にその分野でリーダーとなっている会社）が無償で公開していることがあるので探してみてください 製品の選定を行う際には、ソフトウェアベンダーの言葉を鵜呑みにせずに、自分で言葉の定義を行いながら進め