タグ検索の該当結果が少ないため、タイトル検索結果を表示しています。
みなさん、データのメタデータ管理ってどうやってますか？ #datatech-jp レポート｜よしむら＠データマネジメント担当
メタデータの価値と意義データ基盤作ってもメタデータがないと必要なデータを発見するのは難しい。 テーブルの物理名とデータの中身だけでは想像はできるけど、意外とわからない。 また、データ自体の意味以外にも制約条件とか利用者情報などがあり、そういうメタデータを整備することでデータ活用ができる。 メタデータの種類システム基礎系：DDLとか ビジネス系：活用方法 関連性：リネージやER図 統制系：品質情報 セキュリティ情報：アクセス権限情報 システム運用系：ジョブ実行ログ ソーシャル系：利用者のレビューやアクセス頻度 メタデータの管理とデータカタログメタデータを管理するためのツールとしてはデータカタログがある。 データカタログは銀の弾丸だと思われがちで、いいデータカタログがあればだれもが使ってデータ利活用が進むと思われがちだが… 実際データカタログを入れたところで、メタデータは入力されずカタログ・ゴ
メタデータ管理のすすめ その２ メタデータの収集・管理方法について - ぐるなびをちょっと良くするエンジニアブログ
こんにちは！ IT統制グループの中島です。 メタデータ管理に関わるブログ第二弾になります。第一弾の記事はこちらをご参照ください。 以前と組織は変わっていますが、引き続きメタデータ管理にも携わっています。 第一弾の記事で、「メタデータ管理を流行らせたい」と書いたので、 今回は弊社のメタデータ管理の仕組みをお伝えしようと思います。 これからメタデータ管理を始められる方の参考になると幸いです。 ちなみに弊社のメタデータ管理システムは「MetaBo」と言います。 Meta Bibliography（メタ書誌情報）を略してMetaBoと名付けられました。 MetaBoの全体概要 MetaBoは、社内に散在するデータに関する情報（メタデータ）を一元管理し、横断的に検索する仕組みです。 収集したメタデータをキーワード検索することで、スキーマ・テーブル・カラム・インデックスなどに辿り着けるWebアプリケー
メタデータとは メタデータとは「データに関するデータ」と定義されています。 「データに関するデータ」というのは表現としてピンとこない方は、データ利活用に必要なデータに関する周辺情報と覚えておけば良いでしょう。 具体的に「データに関するデータ」とは何なのか、まずは、写真のデータを例に挙げ説明します。 写真にはExifという規格に沿った写真の撮影情報データが付加されています。そして、写真というデータに対して、Exifという規格に沿って保持しているデータをメタデータと呼びます。 写真のメタデータであるExif情報はWindowsでもMacでもファイルから確認することができます。 次に、データ基盤で管理されている顧客情報を管理しているテーブルを例に、データに関するメタデータについて説明します。 たとえば以下の画像のようなデータです。メタデータが無い時はリレーショナルデータベース（RDB）の情報その
どーも、データアナリティクス事業本部コンサルティングチームのsutoです。 データマネジメントに関する知識を体系立ててまとめた「DMBOK」（ここでは第２版であるDMBOK2）には、広範なデータマネジメントの概念として11個の知識領域が定義されています。 その中に「メタデータ」の管理に関する記述があります。増え続けるデータの種類と量の全体像を把握しやすくする目的として、 業務用語とその利用法に関する組織の理解を提供する 様々なソースのメタデータを収集し統合する メタデータにアクセスするための標準的な方法を提供する メタデータの品質とセキュリティを確保する ことをゴールとしてメタデータの管理を考えることの必要性を謳っています。 じゃあ具体的に、『自分たちの組織の組織と照らし合わせてどんな方針で考えて整備していけばよいのだろう』という疑問に対して、「とりあえずメタデータ管理できるツールを入れれ
dbt-osmosisを利用して、なるべくコストを抑えつつ効率的にメタデータ管理を行なう - yasuhisa's blog
3行まとめ ビジネスメタデータはデータ生成者にとってもデータ活用者にとっても重要 しかし、カラムのメタデータを同じ説明をあちこちに書いていくのは大変... dbt-osmosisはビジネスメタデータの管理を省力化したり、自動化できる便利なツール 3行まとめ 背景: メタデータの重要さとメタデータ管理の大変さ 大変さ1: 多段のデータレイヤーにどうメタデータを付与していくか 大変さ2: 継続的な運用をどうするか dbt-osmosisでメタデータ管理を行なう 依存関係を考慮したメタデータの伝播 自動化による継続的な運用 基本的な使い方 使ってみた感想 背景: メタデータの重要さとメタデータ管理の大変さ データマネジメントにおいてメタデータの重要性は今さら説明するまでもないと思います。メタデータは以下の3種類が代表的です。 A: テクニカルメタデータ B: オペレーショナルメタデータ C: ビ
データ・アナリティクス事業本部の森脇です。 データカタログ/メタデータ管理のためのOSSは色々ありますが、今回はNetflixが現在進行形で開発しているOSSの「Metacat」を試してみました。 Metacatとは Metacatとは、Netflix OSSとして開発されているメタデータ管理サービスです。 REST/Thriftインターフェースを持っており、様々なデータソースに対して統一されたインターフェースでメタデータを参照することが可能です。 https://netflixtechblog.com/metacat-making-big-data-discoverable-and-meaningful-at-netflix-56fb36a53520より引用 Metacatには以下の特徴があります。 APIのみ提供(Web UIは存在しない) Java/Groovy製 ビジネス要件/ユー
「みなさん、データのメタデータ管理ってどうやってますか?」での発表資料です。 - https://datatech-jp.connpass.com/event/310548/
内製データカタログによる分析基盤の改善〜ミニマムなメタデータ管理で分析を前に進めよう〜 - Money Forward Developers Blog
この記事は、Money Forward Engineering 1 Advent Calendar 2022 7日目の投稿です。 6日目は koyoさんで i18n YAML ファイル中の日本語/英語のズレを検知する単体テスト でした。 本日は私が「メタデータ管理の最初の一歩」について書いていきたいと思います。 はじめに 初めまして、CTO室分析基盤部のnakamoriです。 私は22新卒でこの分析基盤部に配属されてから半年、データ分析基盤の開発と運用を行っています。 今回は入社して一番大きなプロジェクトだったメタデータ管理についてお話ししようと思います。 この記事が想定する読者 分析基盤であるDWH（データウェアハウス）にデータが蓄積されてきたが、メタデータ管理をまだ行っていない人 データカタログツールを導入しようか迷っている人 抱えていた課題 弊社マネーフォワードは40を超えるサービス
いろいろ触ったのでまとめる。(今後追記予定あり) TL;DR データガバナンスツールのOSSにおいて、世間的にデファクトスタンダード的なものも、個人的にこれは!というものも見た限りなかった。 テクニカルメタデータの収集はだいたいどこも同じな一方、ビジネスメタデータ、リネージへの取り組みには顕著な差がある。 お金があるなら有償製品を導入したほうがいいかもしれない。 1 データガバナンスツールは、JIRAみたいなビジネスツールとして捉えるべきという所感。 変更履歴 2020-05-18 Egeriaを追加 前提と関心のある領域 ベンチャーではなく様々な領域の事業を扱う大きめの企業。 マルチクラウド、マルチベンダー、マルチプラットフォーム。データストアは数百以上。 ETL基盤、データ分析基盤はすでに存在し、内製のメタデータ管理ツールもある。 データ利活用よりもガバナンスを強化したい。 調べたOS
「メタデータ管理」データマネジメント知識体系（DMBOK）第12章の解説｜よしむら＠データマネジメント担当
はじめにデータマネジメントの本丸の一つであるメタデータ管理について説明されている章となる。 メタデータとは「データに関するデータ」であるという説明を読んだときには、さて「データに関するデータ」を管理することは重要なのだろうか？と思うかもしれない。自分もそう思った。 「データに関するデータ」を管理するという事を目的にするのではなく、どのようなものが必要かという観点で考えると、データに関するデータを集約してインターネットにおける検索エンジンがあれば、データ利活用がどれほど進むのかと考えるとワクワクしてくる。 DMBOKの各章の要約・解説他の章も興味ある人はこちらからどうぞ。
Dataplexとdbt-osmosisを活用した「がんばらない」データカタログとメタデータ管理の運用(Data Engineering Study #22)
Data Engineering Study #22 5社のデータエンジニアが振り返る2023 での発表資料になります。 - https://forkwell.connpass.com/event/299633/
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
データ利活用を推進するのためのメタデータ管理術 | 日本発のデータカタログ「COMETA」
データマネジメントにおけるメタデータ管理についてまとめてみた | DevelopersIO
Netflix社製のメタデータ管理OSS「Metacat」を試してみた | DevelopersIO
データマネジメントを支える武器としてのメタデータ管理
メタデータ管理OSS個人的まとめ - うさだのブログ
emg.yahoo.co.jp
ressencewatches.com
anond.hatelabo.jp
piyolog.hatenadiary.jp
oici.jp
www.data-max.co.jp