アクティブメタデータの所感。日本での普及を想う｜松元亮太 / Quollio Technologies
冒頭2022年現在、データ界隈で良く聞く概念の一つに、Active Metadataがある。最も、日本では未だ広く浸透していない概念ではあるが、北米ではData MeshやData Fablic、Metrics Layer等のバズワード(?)と同じように界隈を賑わしているものであり、こと ”データが資源” である21世紀の企業経営においては（現時点で少なくとも北米においては）最重要トピックの一つであると言って過言でない。 本日は、データの最前線を賑わしているアクティブメタデータについて、まだ日本語での記事も多くないので、思うところを書いてみることにした。 背景ときっかけ既にご存知の方も多いと思うが；象徴となったのは、Gartner社が2021年8月にMagic Quadrant for Metadata Managementの廃止を宣言し、代わりに Market Guide for Act
Elasticsearchで関連キーワード機能がどれだけ低コストで実装できるかの旅路 - エムスリーテックブログ
クエリに対する関連キーワード機能 エムスリーエンジニアリンググループ AI・機械学習チームの中村(@po3rin) です。 好きな言語はGo。仕事では主に検索周りを担当しています。 Overview 最近の仕事で医師に質問ができるサービスで「Elasticsearchを使ってなるべく低コストで関連キーワード機能を実装する」という案件に携わっていました。本記事では関連キーワード機能を低コストで実装するための技術調査の結果と、実際に採用した方法をご紹介します。 今回紹介する方法は機械学習などは使わず、なるべく低コストである程度の品質を目指すものです。この記事を読むことで検索アプリケーションにサクッと関連キーワード機能を実装できるようになるでしょう。 Overview 検索における関連キーワード機能とは 実装の前提条件 実装パターンの紹介 (1) ログで出現した単語を数えあげる (2) ログに対
A Dive Into Metadata Hubs
A look into metadata hubs, which might just be the hottest category of data tools of the past two years. There’s something going on with ‘metadata hubs’ today. In the past two years alone, we’ve seen a whole host of metadata hub projects being released, written about, or open sourced by major tech companies. These include: Airbnb’s DataportalNetflix’s MetacatUber’s DatabookLinkedIn’s DatahubLyft’s
マネーフォワード ケッサイのBigQueryリソース ラベル規約 | Money Forward Kessai TECH BLOG
BigQueryの布教活動をしていますna0です。 この文書は、BigQueryリソースに対する期待値をラベルで明示する提案を行うものです。 組織全体でデータ品質に合意するための第一歩としてBigQueryリソース ラベルを使ってみませんか。 ラベル品質のベースラインとして、マネーフォワード ケッサイで運用している規約を紹介します。 BigQueryリソース ラベル規約 この文書は、データ活用を促すためのBigQueryラベル規約を定めるものです。 提案、指摘をお願いします。 結論 BigQueryリソースに対する期待値をラベルで明示しましょう 一貫性を持ったラベル付けのために、規約を整備したのでご協力ください 課題意識 BigQueryの利用者が増えていくと、リソースに対する期待値も様々です。 期待値に合うリソースなのかを利用者自身で判断できる状態が望ましいです。 期待値がずれていると、
Excelに新機能「Custom Data Types」登場。セルをキーにしてさまざまな情報を参照。ユーザー独自の定義も可能に
Excelに新機能「Custom Data Types」登場。セルをキーにしてさまざまな情報を参照。ユーザー独自の定義も可能に マイクロソフトはExcelの新機能として従来の「Data Types」を拡張した、「Custom Data Types」の導入を明らかにしました。 Custom Data Typesは、いわばあるセルに入っている情報をキーにして情報を参照する機能を実現するもの。 参照先としてPower BIやPower Queryで接続されたサーバなどを設定できるため、顧客名の入ったセルをキーにすると、顧客の連絡先や住所、現時点での売り上げ、社内の担当営業といった情報をマウス操作だけで参照できるようになります。 Introducing custom data types using your own business data through Power BI and Power
データ基盤のメタデータを継続的に管理できる仕組みを作る - Hatena Developer Blog
こんにちは。MackerelチームでCRE(Customer Reliability Engineer)をしているid:syou6162です。 CREチームではカスタマーサクセスを進めるため、最近データ分析により力を入れています(参考1, 参考2)。データ分析を正確に行なうためには、データに関する正確な知識が必要です。今回はより正確なデータ分析を支えるためのメタデータを継続的に管理する仕組みについて書いてみます。 データに対する知識: メタデータ データ分析を正確に行なうためには、データ自身に関する知識(=メタデータ)が必要です。例えば、Mackerelのデータ分析タスクでは以下のような知識が必要とされることが多いです。 このテーブル / カラムは何のためのテーブルなのか 似たようなカラムとの違い 集計条件の違い、など データがどのような値を取り得るか SELECT column, COU
Amazon EMR で Apache Atlas を使用して、メタデータの分類、系統および発見を行う | Amazon Web Services
Amazon Web Services ブログ Amazon EMR で Apache Atlas を使用して、メタデータの分類、系統および発見を行う 今日の世界ではデータの役割が絶えず進化し、増大しているため、データガバナンスが効果的にデータを管理する上で重要な側面となっています。多くの組織は、データレイクを単一のリポジトリとして使用して、組織の事業体に属するデータをさまざまな形式で格納しています。メタデータ、カタログ化、およびデータ系統の使用は、データレイクを効果的に使用する上で鍵をにぎります。 この記事では、Amazon EMR にインストールされた Apache Atlas がこれを行う上でどのように機能するかについて説明します。この設定を使用すると、データを動的に分類し、さまざまなプロセスを経る際にデータの系統を表示できます。この一部として、Atlas のドメイン固有言語 (DS
FlexMatcher Documentation — FlexMatcher 0.8.0 documentation
FlexMatcher Documentation¶ FlexMatcher is a schema matching package in Python which handles the problem of matching multiple schemas to a single mediated schema. FlexMatcher is part of the BigGorilla <http://biggorilla.org> project which provides tools for data integration and data preparation. Free software: Apache Software License 2.0 Contents:
OneNote for Windows 10/Macでカスタムタグがサポートへ | ソフトアンテナ
Microsoftが2019年1月公開予定のOneNote for Windows 10/Macで「カスタムタグ」機能がサポートされることがわかりました(Microsoft、MSPoweruser)。 カスタムタグ機能はユーザー自身が独自のタグを定義し、特定のコンテンツに割り当てたり、検索したりすることができる機能です。 カスタムタグは、ツールバーに存在するタグアイコンクリックして表示されるメニューから「Create New Tag」を選択することで作成することができます。作成したカスタムタグはこのタグメニューに表示され、特定のコンテンツに割り当てることが可能となるほか、検索機能を利用して該当するコンテンツを一覧表示することが可能となります。 またさきほどのタグメニュー内に存在する「Used in thes Notebook」では、以下のリストが表示されます。 以前削除したタグ その他のデ
”専門用語（キーワード）自動抽出システム”のページ
1.専門用語（キーワード）自動抽出システムとは？ 当サイトでは、専門用語（キーワード）自動抽出システムの基本システムおよび応用システムを提供しています。 専門用語（キーワード）自動抽出システムとは、単なる文章の単語分割ではありません。一般に文章中では複数の単語の組み合わせで複雑な概念を表す場合が多く、文章の内容が専門的な事項に特化すればその傾向はさらに顕著なものとなるでしょう。したがって文章中からキーワードを抽出する場合、単語分割機能だけでは意味を成しません。そこで、このシステムでは、（１）形態素解析プログラムによる単語分割、（２）複合語の作成、（３）文章中における重要度の計算、という３つのステップを踏むことで、複合語により複雑な概念を表すことが多い専門用語をキーワードとして文章中から抽出することに成功しました。 自作の文章からキーワードを抽出したい！ メタデータ作成のためにウェッブサイト
Schema matching - Wikipedia
This article provides insufficient context for those unfamiliar with the subject. Please help improve the article by providing more context for the reader. (October 2009) (Learn how and when to remove this message) The terms schema matching and mapping are often used interchangeably for a database process. For this article, we differentiate the two as follows: schema matching is the process of ide
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Informatica buys AI startup for entity and schema matching
(PDF) A Survey of Approaches to Automatic Schema Matching.
Data Catalog: データの検出 | Google Cloud
Portal - StreamSets Docs
Atlas Support Is Back!
An architecture for federated data discovery and lineage over on-prem datasources and public cloud with Apache Atlas
Taxonomy 101: The Basics and Getting Started with Taxonomies
IBM Developer
スキーママッチング&マージング | BigGorilla