メタデータ管理OSS個人的まとめ - うさだのブログ
いろいろ触ったのでまとめる。(今後追記予定あり) TL;DR データガバナンスツールのOSSにおいて、世間的にデファクトスタンダード的なものも、個人的にこれは!というものも見た限りなかった。 テクニカルメタデータの収集はだいたいどこも同じな一方、ビジネスメタデータ、リネージへの取り組みには顕著な差がある。 お金があるなら有償製品を導入したほうがいいかもしれない。 1 データガバナンスツールは、JIRAみたいなビジネスツールとして捉えるべきという所感。 変更履歴 2020-05-18 Egeriaを追加 前提と関心のある領域 ベンチャーではなく様々な領域の事業を扱う大きめの企業。 マルチクラウド、マルチベンダー、マルチプラットフォーム。データストアは数百以上。 ETL基盤、データ分析基盤はすでに存在し、内製のメタデータ管理ツールもある。 データ利活用よりもガバナンスを強化したい。 調べたOS
個人情報保護の手段としてのリネージ - うさだのブログ
TL;DR データガバナンスにおいてリネージが大事だよ｡ Apache AtlasというOSSでリネージができるよ｡ このへん情報が少ないのでもっと知りたいよ｡ ここから本編 データ分析をするにあたり､そのデータがどこから来たものなのか､監査をするにあたり､不適切なデータの利用がされていないのか､知りたい人は多いと思います｡ とりわけ､上記のような動機をもってる人が所属する組織は､多数の部門に分かれ､それぞれの部門で採用している技術スタック､ミドルウェアが異なったりします｡ データの由来を知るにも担当者はそもそも誰なのか､どこの誰に聞けばわかるかがわからない｡ データ基盤を運用してるがあるデータセットの変更がどこにどう影響を与えるのかわからない｡ 個人情報開示請求をユーザから受けたけど､いったいどこにどうデータが伝わっているのかわからない｡ そういった辛みを解決するための手法として､データ
分散型データメッシュ Distributed Data Mesh についての記事を列挙するだけ - うさだのブログ
martinfowlerのブログで去年の5月に投稿された原記事 martinfowler.com ↑について言及したInfoQの日本語訳 https://www.infoq.com/jp/news/2020/03/distributed-data-mesh/ 反応記事 https://towardsdatascience.com/data-mesh-not-a-service-mesh-1a4a315193b3 原記事著者の講演動画 www.youtube.com 併せて読みたい データ統合*1とデータ連係の対比｡*2 https://www.altoros.com/blog/data-federation-vs-data-integration/ リボンモデルの意義 yuzutas0.hatenablog.com プラットフォーム間のディスカバリ www.odpi.org *1:原記事と
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
