Data Contractの概要
某コミュニティにて Data Contract に関して議論する際に書き下したメモを本記事で公開します。本業でも特にデータプロダクトをビジネスに共有する際に Data Contract に類似する概念の必然性を感じています。 概要 Data Contract (データコントラクト)は、オーナーシップがはっきりしたデータ送付側とデータ受領側の2つの間でデータをやり取りする際に交わされる契約。 データ送付側が、データを送付する際に満たすべき要件を記述したもの。記述にはデータスキーマ、品質要件、などが含まれる。Data Contractを満たさないデータは送付できなくする。 以下は、Pay PalのData Contractの例をオープンソース化したもの。実際のData Contractがどういうものか参考になる。あくまでData Contractの内容をスキーマとして表現したものであり、データ
Data Contractに向けたProtocol Buffersの調査 - yasuhisa's blog
背景: データ品質を担保するにはデータソースの品質が重要 データソースの品質を担保する手段としてのData Contract Data Contractの表現方法の一つとしてのProtocol Buffers Data ContractとしてProtocol Buffersを使う データの入出力を一箇所に集約、Protocol Buffersで抑えるパターン ストレージのスキーマをProtocol Buffersで抑えるパターン 発展的な話題 & 読書会の案内 参考文献 背景: データ品質を担保するにはデータソースの品質が重要 私はデータエンジニアをしており、DWHやデータマートのデータ品質について考えることが多い。BigQueryなどにデータが取り込まれた後のレイヤリングやテスト、改善に向けたデータ品質の可視化について、以前発表した。 データが取り込まれた後の整理は進んでいるものの、やは
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
