データマネジメントを実施したい人には必読の本「データマネジメント知識体系ガイド DAMA DMBOK」の要約・解説記事を書いてます。まとめて読めるようにマガジンとしてまとめました… もっと読む
メタデータの価値と意義データ基盤作ってもメタデータがないと必要なデータを発見するのは難しい。 テーブルの物理名とデータの中身だけでは想像はできるけど、意外とわからない。 また、データ自体の意味以外にも制約条件とか利用者情報などがあり、そういうメタデータを整備することでデータ活用ができる。 メタデータの種類システム基礎系:DDLとか ビジネス系:活用方法 関連性:リネージやER図 統制系:品質情報 セキュリティ情報:アクセス権限情報 システム運用系:ジョブ実行ログ ソーシャル系:利用者のレビューやアクセス頻度 メタデータの管理とデータカタログメタデータを管理するためのツールとしてはデータカタログがある。 データカタログは銀の弾丸だと思われがちで、いいデータカタログがあればだれもが使ってデータ利活用が進むと思われがちだが… 実際データカタログを入れたところで、メタデータは入力されずカタログ・ゴ
データエンジニアリングとは何か 昨今、データドリブンな経営・事業推進の重要性が日に日に高まってきていますが、それを実現するためにはデータの分析環境(≒データ分析基盤)が必要不可欠です。しかしながらデータ分析基盤を構築・運用するためには、専門性の高いデータエンジニアリングのスキルやノウハウを身につける必要があります。 この記事ではデータエンジニアリングを実践するにあたって「何が必要か」「どうキャッチアップすれば良いのか」を説明していきます。 なお、本記事は筆者の経験則に基づく解釈が多く含まれております。より客観的に学びたい方に向けて参考文献も記載しておりますので、併せてご参照頂けますと幸いです。 データ分析基盤の必要性 データ分析やデータ活用を行うシステム基盤のことを、データ分析基盤と言います。 通常分析に必要なデータは企業内に散在しており、分析するためには1箇所に集約する必要があります。
今すぐわかるデータマネジメントの進め方 著者のDMBOKを用いてCDO室を立ち上げデータマネジメントを推進した経験を基にデータマネジメントの進め方をまとめたkindle本を執筆しました。 データガバナンスとはデータガバナンスとは、企業や組織が保有するデータの管理と活用に関する方針やプロセスを定め、データマネジメントの管理に責任を持つことを指す。 データガバナンスという名前からプライバシーやセキュリティといった守りの領域のみを意味すると思われがちだが、経営戦略に紐づきデータ戦略を進める攻めの領域こそが重要であり、最も重視すべき事項となる。 データガバナンスを進めるためには、まずは戦略や体制を構築を行う。 データを活用して企業をどの方向に導くのか、それを実行するために必要な組織や権限は何かを明確にし、実行体制を整える。 実行体制を整えた後にデータガバナンスを進めるためには、データマネジメントに
この記事は datatech-jp Advent Calendar 2021 の 5日目の記事となります。 はじめに全社のデータ利活用を推進して欲しいと要望を受けて、データの専門部署を立ち上げました。 データの部署ということで、まずは状況の可視化をするため、DMBOKを参考にデータマネジメント成熟度アセスメントと全社のデータ利活用機運アセスメントを行いました。 データマネジメント成熟度アセスメントの章はこちらで解説しております。 データマネジメント成熟度アセスメントではデータマネジメントというデータ利活用のための基盤を評価し、データ利活用機運アセスメントでは基盤を使って実際活用できているのかを評価しています。 本noteではデータマネジメントに関する記事を書いてますので、よかったらどうぞ~ データマネジメント成熟度アセスメントデータマネジメント成熟度は、DAMAホイール(※1)で有名な11
はじめにデータの価値に目をつけ、実際に成果を出す会社も出始めてきた。 成果が出せると認知された結果組織は拡大し、専門職が生まれていっている。 データ界隈にいる自分が絡んだことがある職種についてどんな役割かを思い出しながら書く。 データマネジメントの進め方著者のDMBOKを用いてCDO室を立ち上げデータマネジメントを推進した経験を基にデータマネジメントの進め方をまとめたkindle本を執筆しました。 データ系の職種一覧分析職データサイエンティスト データサイエンティストは高度な数理的な知識を生かして、データを分析・解釈し、有益な情報や知見を得ることによって意思決定や問題解決を支援する。 論文を参照して最新の手法を勉強しつつ、それを実装するためにPython、SQLを駆使して実装する。ディレクター職と組んでビジネス成果を出すことが多い。 一方データサイエンティストの名前でデータ何でも屋さんを期
データモデリングの意味、必要とされる理由、進め方を解説 本記事では、ユーザー企業の方向けにデータモデリングについて解説していきます。 データモデリングは、データに関する要件を明確化するための技術です。この技術は、データマネジメントを成功させるうえで必須のものとなっています。(”そもそも「データマネジメント」とは?” という方は、こちらの記事『データマネジメントとは何か』もご覧ください。) 本記事ではデータモデリング(およびその成果物であるデータモデル)について、そもそもの意味や必要とされる理由、進め方等について解説いたします。 3分でわかるデータマネジメント【データモデリング】の想定読者層 本記事は、以下の方々を想定して作成しております。 情報システム構築やパッケージ導入に携わる方(特に、ユーザー企業の情報システム部門の方) デジタルトランスフォーメーションに携わる上で、データから価値を見
datatech-jp Casual Talks #3 レポート#2は自分も発表してちょっと疲れたので、#3は気軽に聞いてレポートを書いてみたいな感じ。 今日のコンセプトはハイパー速報レポートを出そうと思って書いている。 概要データエンジニアの人員足りてますか? モノタロウの採用に関する活動を振り返り、グループ独自に採用活動を始めた背景を紹介します。 GCPとかLookerとかを雑多に管理下板が、DMBOKをベースに管理することを決めた。 DMBOKの領域広すぎて、全然人足りないじゃんみたいな話になって採用活動を頑張ることに。 データ管理の人材獲得が難しい理由 データ管理人材は無くてもサービス存続に困らないため、あまり存在しない エンジニアのキャリアプラン上にデータ管理がなかなか入ってこない 地味なので魅力が伝わりづらい 採用活動をやって良かったこと4つ 口を開けて待っていただけでは余裕が
データ用語解説の趣旨データに係る仕事をしていて、まだまだデータ利活用に関する用語を誤解していることが多いなと感じています。 という事で、データ利活用に係るデータサイエンティスト、データエンジニア、ビジネス部門、業務部門の人たちが押さえておきたい用語を解説していきます。 今回は「データプロダクトマネージャー」について解説します。 データプロダクトマネージャーはデータプロダクトを創りビジネスをグロースする役割名として用いられます。 データプロダクトマネージャーはデータ人材の中の役割の1つで、日本に入ってきたばかりの役割でまだ固まっていない職種であるため、ここで書くのはそういう考え方もあるといった感じで受け取ってもらえればよいと思います。 データマネジメントについての情報データ用語解説 データ用語の解説を書いてます。
データマネジメントについて色々考えている時期で、今日は成熟度について。 様々なフレームワーク とあるプロジェクトでデータマネジメント成熟度を測ろう、となったのですが、成熟度を測るフレームワークにも色々あるようです。 www.cloudtimes.jp こちらの記事で紹介されているのは以下の3つです: CMMI研究所 が定めるもの(DMM) Deloitte 社が提供するもの Data Orchard 社が提供するもの 他にもウェブ検索していたら EWSolutions 社が提供するものも見つけましたが、大半はコンサルティング企業が有償提供するサービスが多いようです。 ちなみに Deloitte 社が提供するものは、アンケートに答えるだけで成熟度が測れるので面白そうです。ちょっと軸が独特な気がしますが。 Data Maturity Benchmark DMBOK の書籍の中に紹介されているの
提言 オープンサイエンスの深化と推進に向けて 令和2年(2020年)5月28日 日 本 学 術 会 議 オープンサイエンスの深化と推進に関する検討委員会 i この提言は、日本学術会議オープンサイエンスの深化と推進に関する検討委員会の審議 結果を取りまとめ公表するものである。 日本学術会議オープンサイエンスの深化と推進に関する検討委員会 委員長 喜連川 優 (連携会員) 情報・システム研究機構国立情報学研究所所長 東京大学生産技術研究所教授 副委員長 引原 隆士 (特任連携会員) 京都大学図書館機構長 附属図書館館長 教授 幹 事 安達 淳 (連携会員) 情報・システム研究機構国立情報学研究所 副所長・特任教授 幹 事 村山 泰啓 (連携会員) 国立研究開発法人情報通信研究機構ソーシャル イノベーションユニット戦略的プログラムオフ ィス研究統括 久留島 典子 (第一部会員) 東京大学史料編纂
はじめにこれまでの章でデータマネジメントの知識領域が定義されたDAMAホイール図から一つ一つの領域ごとにまとめられていた。 十五章はデータマネジメントの成し遂げるために必要なアセスメントについて書かれている。 データマネジメント成熟度アセスメントこそが、データマネジメントをデータガバナンスするためのKPIとなり、向上させるための計画を立てることができる。 自分が今の組織でデータマネジメントを推進することになったときはこのデータマネジメント成熟度アセスメントと、独自に作成したデータ利活用機運アセスメントを行い、自社のKPIとして進めた。 データマネジメント知識体系(DMBOK)第15章「データマネジメント成熟度アセスメント」についてデータマネージメントデータ成熟度アセスメントとはアセスメントはDAMAホイールの11の軸と6つのレベルによって評価する。 EY Japanが506社に対してデータ
はじめに ~CDMPとはどのような資格なのか、受験のメリットを解説~ データマネジメント業務に係わる多くの方がDMBOKをお読みになったことがあるかと思います。DMBOKはデータマネジメントに関するあらゆる領域について体系的に書かれた良書です。しかし、多忙なビジネスパーソンにとって全672ページというボリュームは、手軽に読める量ではありません。 そこで、DMBOKの内容について効率的に理解する良い方法はないか模索していたところ、CDMPというデータマネジメントに関する資格があることをEDW2019に参加した際に知りました。 CDMP取得に向けて勉強することはDMBOKの内容を効率的に理解する1つの有益な手段であると考えています。今回はCDMPとはどのような資格なのか、また、CDMPを受験することのメリットについてご紹介いたします。 CDMPとは CDMP(Certified Data Ma
データマネジメント2022 ~データを制するものがDXを制す!~2022年3月10日(木)に年に一度の「JDMCカンファレンス データマネジメント2022 ~データを制するものがDXを制す!~」があり、視聴したのでレポートを書きます。 JDMCさんがアーカイブを公開してくれているので、見た順番にコツコツ書いていこうと思います。 開催概要は以下JDMCのデータマネージメント2022の公式サイトにて確認ください。 https://seminar-reg.jp/jdmc/dm2022/ データマネジメント セミナーレポートデータマネジメント関連のセミナーに興味ある人はこちらからどうぞ。 データドリブン経営を加速させるデータマネジメント組織構築から得た学びと知見ヤマトグループは2020年1月に経営構造改革プラン「YAMATO NEXT100」を策定し、基本戦略の1つとしてデータドリブン経営を掲げま
ペタバイト、30プロダクトを超えて成長を続けるデータ基盤の歴史発表者株式会社ディー・エヌ・エー 長谷川 了示 発表資料(参加&アンケート回答者のみ) 概要DeNAの事業紹介1999年にネットオークションの会社として始まって、現在はエンターテイメント領域と社会課題領域を行っている。 ビッターズ懐かしい… DeNAデータ基盤の歴史データ基盤が生まれる前 データ基盤が「データ基盤」と呼ばれる以前の世界でも、データをためたデータベースとデータ活用を行いプロダクトを改善することは行われていた。 専門組織は存在せず開発エンジニアが行っていた。 データ基盤の勃興 2010年ごろ、モバイルゲームの大ヒットに伴い、アナリストと分析基盤エンジニアが一体となった組織が作られた。 その時はオンプレミスのHadoopで運用されていた。 ゲーム事業の中にデータエンジニアとデータアナリストを抱えていた。 データ基盤の浸
今すぐわかるデータマネジメントの進め方 著者のDMBOKを用いてCDO室を立ち上げデータマネジメントを推進した経験を基にデータマネジメントの進め方をまとめたkindle本を執筆しました。 データマネジメント知識体系(DMBOK)第12章「メタデータ管理」についてメタデータ管理とは冒頭書いたようにメタデータを「管理」することを目的にすると、それはビジネス的な成果につながるか?となる。 メタデータの「管理」とセットで「検索」について考えなければビジネス成果を出すことは難しい。 九章の「ドキュメントとコンテンツ管理」にも多少書かれているが、メタデータをクローリングして、新しい情報が検索可能になるということまでセットで行う必要がある。 管理と検索を「データ」ではなく「Webサイト」に置き換えて考える。 Googleで検索する事を考えると、検索対象となるサイトの運営者はコンテンツSEOという考え方を
はじめに ~データガバナンスとは何か、データマネジメントとの関係性を解説~ データ活用を推進しようとしている企業の間で「データガバナンス」が重要であるという認識が広まってきました。しかし、データガバナンスがどういうものなのか、あまりよく知らないという方も多いかと思います。本記事では、データガバナンスとは何か、データマネジメントとはどういう関係にあるかについて、データ総研の考えをご説明します。 (そもそも“データマネジメントとは?”という方は、こちらの記事『データマネジメントとは何か』もご覧ください。) 3分でわかるデータマネジメント【データガバナンス】の想定読者層 本記事は、以下の方々を想定して作成しております。 データガバナンスをかいつまんで知りたい方 デジタル化に取り組む上で、データガバナンスの意義を理解したい方 データガバナンスとは? データガバナンスとは、データマネジメントの実行を
概要リクルートのデータ組織についてリクルートはマトリクス型組織で、データ系の部門は横断組織としてサービスを担当している。 その一つの職種として、アナリティクスエンジニアというJDを定義して募集している。データアナリストとデータエンジニアの懸け橋となる存在。 dbt Coalesce 2022とはdbtが主催しているアナリティクスエンジニアのカンファレンス Semantic Layer:散らかりがちな重要指標をdbt内で一元管理して、API越しに呼び出すことが可能になる機能。 Headless BI:BI内にビジネスロジックを持たずにセマンティックレイヤーで集計済みのメトリクスを使うことで集計が異なることを防ぐ。 ダッシュボードをコードで管理することでバージョン管理が容易になりました。 dbt Python サポート:SQLに加えてPythonでモデルを記述することができるようになった。SQ
Transcript BIプラットフォームで作る管理会計システム 〜表計算ソフトとの比較を添えて〜 Integrated Data Service部 塚本圭一郎 0 © KADOKAWA Connected Inc. 1 自己紹介 塚本 圭一郎 (Keiichiro Tsukamoto) • 博士 (情報科学) • 2014-04 ㈱ドワンゴ 新卒入社 • 所属と役職 – ㈱KADOKAWA Connected Integrated Data Service部 部長 – ㈱ドワンゴ Dwango DataManagement Service部 部長 • 職務 – KADOKAWAグループにおける 組織横断のデータ利活用促進のリード © KADOKAWA Connected Inc. 2 目次 • 管理会計とは • 管理会計を表計算ソフトで行う際の課題 • BIプラットフォーム Ta
データ組織立ち上げ編 AI事務員宮西さん 著者のデータ組織の立ち上げ経験をマンガ+コメントでまとめてみました。 無料公開のため0円となります。こちらもkindle本になります。 職務経歴大学時代から現在までの職務経歴をずらずらと記載。 どんなチームで、どんなことをやって、どんなスキルを身に着けたのかを書いていく。 大学・大学院時代情報系の学科を卒業してそのまま大学院へ進学。 大学院に進学したがもっと学問をやりたいというモチベーションではなくもうちょっとロハスな生活したいという不純な動機のほうが強かった。 研究テーマはレコメンドをやっていたが、今記憶にあるのは協調フィルタリングとTF-IDFという単語くらい。 その後、データサイエンスが流行り機械学習の仕事をやることになったので分野としての筋は悪くなかった。 卒業は無事にできてIT企業へ メッセージングアプリのバックエンド開発配属されたのはL
半構造化データとは?構造化データ、非構造化データとの違いを解説 EDW(Enterprise Data World)では半構造化データをどう管理・活用するかが多く語られていました。それらのトピックも今後触れていきたいと思いますが、本ブログではその前段として『半構造化データとは何か?』をテーマにお伝えします。 『半構造化データ』とはどんなもので、構造化データや非構造化データとは何が違うのでしょうか? 半構造化データに関するブログ ① 半構造化データとは何か? 本ブログ ② マクロとミクロ:2つのレベルで半構造化データを定義する https://jp.drinet.co.jp/blog/datamanagement/qcfixpdzmf ③ 半構造化データのマクロレベルとミクロレベルの関連と注意点の考察 ~非構造化データの意味を定義する~ https://jp.drinet.co.jp/blo
個人情報保護法の用語が難しい個人情報保護法を順守するために法務と話をするのだけど、法務はITの事をあまり理解してなくて、ビジネス&システムは個人情報保護法の事を理解していないみたいなことになっていて大変でした、そのときビジネス&システムに説明した個人情報保護法の用語をnoteでもまとめます。 自分はビジネス&システム側として法務と喧々諤々と議論して得た内容で、法務知識はないため間違っていたらコメントください。 押さえておきたい用語 個人情報 個人データ 要配慮個人情報 個人識別符号 仮名加工情報(個人情報) 仮名加工情報(個人情報ではない) 匿名加工情報 個人関連情報 個人情報この法律において「個人情報」とは、生存する個人に関する情報であって、 次の各号のいずれかに該当するものをいう。 一 当該情報に含まれる氏名、生年月日その他の記述等(文書、図画若しくは電 磁的記録(電磁的方式(電子的方
はじめに ~データアーキテクチャと活動について解説~ 社内に存在する膨大な量のデータを管理・活用する際の指針となるのが今回紹介する「データアーキテクチャ」です。データマネジメントを行う企業は、まずデータアーキテクチャを設計し、それを実現するために計画的な取り組みを続けていく必要があります。 MDMやDWH/BI、データ品質等と比べてあまり広く知られていませんが、データマネジメントにおいてデータアーキテクチャはとても重要です。DMBOK2(データマネジメントの知識体系を記載した書籍)の中でも、データアーキテクチャはデータマネジメント知識領域の一つとして扱われています。(そもそも“データマネジメントとは?”“DMBOK2とは?”という方は、こちらの記事『データマネジメントとは何か』もご覧ください。) 本記事では、データアーキテクチャとそれにまつわる活動について、弊社の知識・経験をもとに簡単に解
データリネージの組織導入事例と今後の戦略発表者tosh2230(GMOペパボ) 発表資料<後であれば更新する> 概要データリネージをはじめた背景データリネージとはデータの系譜を明らかにすること。データの可観測性の向上が目的。 Bigfootと名付けられたデータ基盤を運用している。 データ駆動のためのエコシステムの提供 サービスの動的な改善と意思決定の自動化をサポート GMOペパボはいろんな運営サービスがあります。複数サービスを活用していることによる困りごとが2点あります。 データ障害の原因や影響範囲を把握しにくい 業務データの活用状況を把握しにくい 業務データ全体に対するデータリネージがしたい。 データリネージ具体的な手段OSSでStairlightというものを開発しました。 特徴 SQLからデータのつながりを見つける コードベースにあるSQLを探す。 独立性が高い 詳しくはこちらへ GM
この記事は datatech-jp Advent Calendar 2023の16日目の記事となります。 はじめにデータエンジニアリング組織はデータ基盤の管理と構築を主たる業務として従事していると思いますが、どうしても業務内容の幅が狭くなりがちです。 立ち上げ時は整っていないデータ基盤を整備して文化を根付かせていくという志の基、勢いもやりがいもあるのですが、整備されるにしたがって、業務が安定的になってきて、周りのデータ職種からの問い合わせ対応などの対応が増えてきて、下働き感が強くなってしまうことがあります。 その結果、立ち上げ時の時のようなやりがいを求めて他の会社に転職してしまうことも起きるといった、組織としての課題があります。 上記のような組織的課題があるので、組織側から考える生存戦略、すなわち生き残れる組織を作るためにはどのようなことを行っていけばいいのかという個人的な考えを書きます。
令和6(2024)年4月5日現在、並び順は制定・承認日順、本文が公開されているもののみ。 追加・修正等がございましたら、当サイトお問い合わせ先のメールアドレス(axies.jpcoar.rdm[at]gmail.com) もしくはRDM日本コミュニティ(https://wa.rdm-japan.org/)までご連絡をお願いします。(※メールアドレスの[at]は@に変更してください。) 1.「京都大学 研究データ管理・公開ポリシー」(令和2(2020)年3月19日研究者情報整備委員会承認、 「ポリシーについての解説・補足」あり) https://www.kyoto-u.ac.jp/ja/research/research-policy/kanrikoukai ※関係記事:E2295 - 「京都大学研究データ管理・公開ポリシー」採択の経緯(カレントアウェアネス-E No.397 2020.09
『DXを成功に導くデータマネジメント』を拝読し、データマネジメントについて再認識するきっかけとなりました。とても良い書籍ですので、私なりの視点からご紹介したいと思います。 はじめに データアナリティクス事業本部の藤川です。 普段は、データ分析基盤の構築作業や製品開発、データ活用サービスの製品開発などに携わっていますが、これまで、体系立ててデータマネジメントに関して学ぶことは少なかったです。 今回、データマネジメントに関する書籍を読んで、お客様が抱えられる問題・課題を改めて再認識することができましたのでご紹介したいと思います。 おすすめのポイント 今回、拝読しましたのは、『DXを成功に導くデータマネジメント』(以下、本書)です。また、これを読むにあたり、「データマネジメント知識体系ガイド 第二版(DMBOK2)」や「データマネジメントが30分でわかる本」を参考にしました。 主に、経営層から実
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く