Marquez・OpenLineage触ってみた
気にはなってるけど触ってないビッグデータ系のツール・サービスを触る Advent Calendar 2022の#7です。 OpenLineageとMarquezを調べて・触ってみました。 tl;dr OpenLineageはリネージュ登録の標準仕様、Marquezはそのリファレンス実装だよ データがどこから来て、どこに行って、どんな処理を噛ませたかを記録することができるよ 連携できるシステムには注意だよ Airflowは連携できる。Spark・Great Expectatinosはドキュメントにあるけど要注意 OpenLineageとは 公式ページ曰く、 OpenLineage is an open framework for data lineage collection and analysis. At its core is an extensible specification t
LINEの大規模なData PlatformにData Lineageを導入した話
LINE株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。 LINEヤフー Tech Blog はじめに こんにちは、Data Platform室IU Devチームの島村です。 Data Platform室では、約400ペタバイトのデータ分析基盤を運用しております。このData Platformは、「Information Universe」(以下、IU) と呼ばれており、LINEの様々なアプリケーションから生成されるデータをLINE社員が活用できるように、データの収集、処理、分析、可視化を提供しています。私が所属するIU Devチームでは、「IU Web」を開発しています IU Webは、IUのデータを安全にかつ効率的に活用できるようにするData Catalog機能を提供しており、LINEグループのあらゆるサービスか
色々なDBに使えるOSSデータカタログAmundsenからAmazon Athenaのメタデータを取得してみた | DevelopersIO
どうも！DA部の春田です。 Lyft社製のOSSデータカタログAmundsenの魅力の一つは、そのコネクタの豊富さです。すでにかなりの数のテーブル・コネクタ、ダッシュボード・コネクタが備わっているので、既存のETL基盤にサッと導入することができます。 amundsen-io/amundsen: Supported Integrations 今回はAmundsenをEC2インスタンス上でセットアップし、Amazon Athena内のテーブルメタデータを取得してみました。 Amundsenのセットアップ 下記事でローカルのMacにAmundsenをセットアップしていますが、今回も改めてセットアップ方法を記載しておきます。 今回使用するEC2インスタンスは、Ubuntu 20.04 LTSのt3.mediumでEBSを15GB使用します。パブリックIPを有効化し、セキュリティグループはSSH用の
Big Data Governance: Hive Metastore Listener for Apache Atlas Use Cases
Big Data Governance: Hive Metastore Listener for Apache Atlas Use Cases At eBay, we are obsessed with data quality and governance. Because eBay's Hadoop platform hosts 500 PB of data running over 15,000 nodes, the focus on governance is of utmost importance. This article discusses our experiences handling data governance at scale. Data governance helps ensure that high data quality exists througho
Databook: Turning Big Data into Knowledge with Metadata at Uber
You’re seeing information for Japan . To see local features and services for another location, select a different city. Show more From driver and rider locations and destinations, to restaurant orders and payment transactions, every interaction on Uber’s transportation platform is driven by data. Data powers Uber’s global marketplace, enabling more reliable and seamless user experiences across our
Data governance and the death of schema on read
Series of lava rock pools situated just off the southern end of Lake Turkana, northern Kenya's Jade Sea (source: Thomas Kujawa on Wikimedia Commons) In the olden days of data science, one of the rallying cries was the democratization of data. No longer were data owners at the mercy of enterprise data warehouses (EDWs) and extract, transform, load (ETL) jobs, where data had to be transformed into a
Junar Data Platform
Open data that is easy to re-use and interpret by many different audiences. Junar data platform lets you transform your hard-to-find and useless data assets into dynamic tables, visualizations, maps, dashboards and APIs – so citizens, developers and companies can re-use them for their interests in a simple way.
Azure/AWSと連携してデータ管理を簡略化--ネットアップのクラウド戦略
印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます マルチクラウドやハイブリッドクラウドを導入・運用している企業が増えている。ストレージベンダーである米NetApp クラウドビジネス担当チーフアーキテクトのJoe CaraDonna氏に同社のクラウド戦略を聞いた。 CaraDonna氏によると、6000社のIT組織を対象に実施した米RightScaleの調査では、85％がマルチクラウド戦略を実施または計画中だった。また、調査対象企業の58％がハイブリッドクラウドへの移行計画を実施中または近日実施予定とした。 そうした状況の中、ハイブリッドクラウドを前提としたIT戦略の立案やアーキテクチャの検討、システムの開発・構築がますます必要になるとCaraDonna氏は説く。 また、クラウド戦略をI
ISO/IEC 11179 - Wikipedia
This article's use of external links may not follow Wikipedia's policies or guidelines. Please improve this article by removing excessive or inappropriate external links, and converting useful links where appropriate into footnote references. (August 2020) (Learn how and when to remove this message) The ISO/IEC 11179 metadata registry (MDR) standard is an international ISO/IEC standard for represe
Tableau 10.4新機能：パブリッシュされたデータソースに”お墨付き”を与える『データソースの認証』 #tableau | DevelopersIO
Tableauプロダクトは現在バージョン10.4が最新ベータ版の状態で展開されている状況となっています。製品リリース版はまだもう少し先の話となりますが、下記サイトから申込を行う事でベータ版を試してみる事は可能です。当エントリでは正式リリースに先駆けて10.4の新機能について「試してみた」内容を紹介してみたいと思います。 当エントリでご紹介する10.4新機能の内容は「データソースの認証」です。 Coming Soon | Tableau Software データソースの認証 Tableau Serverではワークブックと合わせて『データソース』をサーバ上で管理する事が出来ます。Tableau Desktopからデータソースを単体でパブリッシュする事により、他のユーザーからもパブリッシュされたデータソースを活用する事が出来るのです。 データ ソースのパブリッシュ パブリッシュされたデータ ソー
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
データの公開・利活用に関するツール集
Taxonomy 101: The Basics and Getting Started with Taxonomies
egeria/README.md at master · odpi/egeria · GitHub
Atlas Home - Atlas - Apache Software Foundation
Overview (egeria 4.4-SNAPSHOT API)
LFAI & Data – Linux Foundation Project
Data & Insights Software | Tyler Technologies
Meta Integration Technology, Inc. - Home Page
Manage tracability with Apache Atlas, a flexible metadata repository
ビッグデータガバナンスとメタデータ管理を成功させるためのTalendの5本の柱 - Talend Real-Time Open Source Data Integration Software
