Pythonで利用できるSQLのリネージュ分析ツール「SQLLineage」を試してみた | DevelopersIO
こんにちは！DA(データアナリティクス)事業本部 サービスソリューション部の大高です。 データウェアハウスにおいて、データを「あるテーブル」から「あるテーブル」へSQLで投入するときに「データの流れを知りたい」というケースがあります。これは一般的に「データカタログ」と呼ばれる製品の中の機能として存在する「データリネージュ」と呼ばれるものになります。 この「データリネージュ」に関して、Pythonで利用できるSQLリネージュ分析ツールとして「SQLLineage」というツールを見つけたので、試してみたいと思います。 前提 今回利用する環境は以下のような環境です。 MacOS Python 3.9.7 pyenv と Poetry を導入済み 事前準備 まずは適当なフォルダを作成して、Pythonの仮想環境を作成します。 私はpoetryを利用しているので、以下のように作成していますが、適宜必
チャパンゲーマーの皆さん，こんにちは！ 昔々，私が以前のドメインで Lineage2 のエミュ鯖を運営していた事はどっかに書いたと思うけども，それ以上の事は必要もないので特に公開はしていませんでした． が，HDD 漁ってたら，当時の「 新規ユーザー向けゲームガイド 」が出てきたんですね． まあ，システムそのものもディレクトリツリーがまるごと残ってはいるんだけど，もはや依存関係でサーバーもクライアントも動かないので，当時の状況を知るにはこれしかない訳です． もしかすると「あの鯖だったのか！」とか思ってくれる人がいるかも知れないし，本家しか遊んだ事のない人はエミュ鯖の変貌っぷりに驚くかも知れないし，このゲームに対して各自それぞれ思い出はあると思うんですよね． そんな訳で，今回はゆるい内容で，当時を懐かしむだけのお楽しみコンテンツにしてみようかと． 最後に，プログラムの中身の事など秘密もちょっと
MMORPG『リネージュ』の有名プレイヤー・雪代縁さんが、すい臓癌ステージ4と診断され、余命半年を宣告されたことが『リネージュ』をプレイしたことのあるプレイヤーたちの間で話題となっていた。 MMORPGの草分け的存在として1998年から運営される『リネージュ』だが、20年以上の月日が経ち、雪代縁さんの存在を知る人の多くは『リネージュ』を引退していたが、この報をきっかけに集結。 雪代縁さんの境遇を知った当時のプレイヤーたちがLINEグループに人づてに続々と集まり、最終的には300人を越えることに。ログが追えないほどに各自の近況報告で埋め尽くされた。
OpenMetadataではデータリネージュ（データの流れ）を可視化できます。 Redshiftではクエリのログを読み込むことでそこから自動的にリネージュ情報を作ることができます。 その流れをやっていこうと思います。 Redshiftのユーザについて OpenMetadataを利用する際はスーパーユーザではないユーザを利用するべきです。 OpenMetadataはデータカタログなので原則Redshift内の実データ書き換えは発生しません。 発生してしまったらかなり怖いです。 よってスーパーユーザの権限はそもそも必要なく、 また、もしも想定外に書き換えがあった時にはきちんと禁止されるように一般のリードオンリーユーザを作成して行います。 また別の理由として、スーパーユーザでは全てのデータにアクセスができてしまい、 Redshift Spectrumを利用するテーブルに対してもクエリをかけること
見に来て頂きましてありがとう御座います。 思いつくまま気の向くまま、とりとめのない話になります、今回はどんな話になるのやら・・・ ↓↓↓↓↓ランキング参加中クリックお願いします↓↓↓↓↓ ランキング参加中自分がコンテンツ！ランキング参加中楽しくブログを書いてる人の集まり 公式HPの情報では最近また 新しいクラスが発表され雷鬼が追加されるので、ファーストアカウントのサードキャラで試すつもりでいますが、前情報として槍使いで竜騎士に似た感じに思っているのでクラスのダブり感があるんですよね、まずは試してみてですね～装備の件用が利くクラスだといいな～とか思っています(;^_^A こんな感じで 今までも新しいクラスは気になるので自分で試して評価した上で、今後は９キャラの中に入れるのかどのアカウントにするのか等も含めて考えて行く感じになりますが、近接打撃系は私に多い感じなので、楽しいクラスになると嬉しい
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
元鯖管が振り返る リネージュ2(Lineage2)エミュ鯖とはなんだったのか？旧プレイガイドを紹介
日本語のみでゲームの「台湾クラン」で1か月過ごすとどうなるか。自動翻訳使用の『リネージュW』奮闘記 - AUTOMATON
MMORPG『リネージュ』有名プレイヤーが余命半年に 運営と当時の仲間が動いた
OpenMetadataでRedshiftのクエリログからリネージュを作成する | DevelopersIO
MMOPRG「リネージュｍ」は・・・ Vol.02 - My Colorful Thoughts’S Park