データカタログにNotionを選択した理由

実装方法 冪等性を担保したGoogle Cloud Composerの設計と実装で紹介しているとおり、Luupのデータ基盤はGoogle Cloud Composerを軸に動いています。なので今回も、Google Cloud Composerの環境下に作りました。 アウトプットイメージは以下です。 以下のNotion APIのDocumentを参考に実装を進めていきます。 サンプルコードも豊富で、説明も丁寧なので簡単に実装できました。 以下、コード一例です。 # Notionのフォーマットに変換するメソッド def format_standard_property_value(self, property_name: str, value: str): if property_name == "title": return {"title": [{"text": {"content": v

[sh19910711]

"BIツールにはRedash、DataWarehouseにはBigQueryを採用 / Notionであれば全社員がすでに活用しているのでアクセス権限周りも問題なくAPIが用意されているのでカスタマイズ性も豊富であると判断 / データカタログはみんなで作る"

[michael-unltd]

“実はNotionをデータカタログとして実装する前に、検証としてGoogle Data Catalogを一部のメンバーだけ試しに使用していたのですが、すべてのメンバーにGCPアカウントを付与して管理しないといけない点がネックでした。 Notion