タグ

2020年4月16日のブックマーク (3件)

  • データ基盤のメタデータを継続的に管理できる仕組みを作る - Hatena Developer Blog

    こんにちは。MackerelチームでCRE(Customer Reliability Engineer)をしているid:syou6162です。 CREチームではカスタマーサクセスを進めるため、最近データ分析により力を入れています(参考1, 参考2)。データ分析を正確に行なうためには、データに関する正確な知識が必要です。今回はより正確なデータ分析を支えるためのメタデータを継続的に管理する仕組みについて書いてみます。 データに対する知識: メタデータ データ分析を正確に行なうためには、データ自身に関する知識(=メタデータ)が必要です。例えば、Mackerelデータ分析タスクでは以下のような知識が必要とされることが多いです。 このテーブル / カラムは何のためのテーブルなのか 似たようなカラムとの違い 集計条件の違い、など データがどのような値を取り得るか SELECT column, COU

    データ基盤のメタデータを継続的に管理できる仕組みを作る - Hatena Developer Blog
    k1LoW
    k1LoW 2020/04/16
    tbls事例だ! / RDB to BigQueryのメタデータを管理するのかなるほどー
  • Cacooでデータベーススキーマの構成図を自動で作成できる「データベーススキーマ機能」をリリース! | Cacooブログ

    データベースの構成図をゼロから作成する必要はもうありません。Cacooのデータベーススキーマ構成図の挿入機能を使って、データベースの構成図を自動で作成しましょう! データベース図は、効率的なデータベースの設計や維持のために必要です。適切に設計されたデータベースは、冗長なデータを排除し、データの整合性を確保し、データへのアクセスを容易にします。 Cacooのデータベーススキーマ構成図は、データベースの情報をインポートすると構成図を自動で作成でき、チームへの共有や編集を簡単に実現します。 作成方法についてお届けします! Cacooのデータベーススキーマ機能とは? Cacooのデータベーススキーマ機能を使用すると、データベースのメタ情報をCSVフォーマットでインポートするだけで、データベースの構成図を自動で作成できます。 Cacooでデータベース図を管理すれば、チームへの共有や共同編集を通じた最

    Cacooでデータベーススキーマの構成図を自動で作成できる「データベーススキーマ機能」をリリース! | Cacooブログ
    k1LoW
    k1LoW 2020/04/16
    なにこれ最高だ!CSVのフォーマットがRDBMSに関係なく汎用的ならtblsのoutフォーマットで対応しようかな
  • 複雑怪奇な nginx を Go と Docker でユニットテストする - Cybozu Inside Out | サイボウズエンジニアのブログ

    全国の nginx 職人のみなさま、こんにちは。野島(@nojima)です。 私の所属するYakumoプロジェクトでは、nginxGoDocker によってユニットテスト1しています。 手元で簡単に実行でき、ブランチへのpushのたびにCIでテストされるので、非常に便利です。 この記事では、このnginxのユニットテストについて紹介してみたいと思います。 背景 nginx は極めて柔軟なロードバランサであり、プロダクション環境ではその柔軟さを生かして多彩な役割を担っています。 我々の nginx は、ユーザーからのリクエストを AP サーバーに振り分け、アクセス制限を行い、リクエストをリダイレクトし、HTTPヘッダを付与したり削ったりしています。 しかし、nginx は便利な反面、その設定は極めて複雑になり、読解したり変更したりするのが難しくなっています。 そこで、nginx

    複雑怪奇な nginx を Go と Docker でユニットテストする - Cybozu Inside Out | サイボウズエンジニアのブログ
    k1LoW
    k1LoW 2020/04/16