タグ

2020年6月16日のブックマーク (1件)

  • ペパボのログ活用基盤「Bigfoot」を Google Cloud Platform に移設しました - ペパボ研究所ブログ

    研究員の @zaimy です。ペパボ研究所では、自社が運営するウェブサービスのユーザーの行動ログや属性情報を収集・分析・活用するための全社基盤「Bigfoot」を技術基盤チームと協力して開発・運用しています。 Treasure Data をバックエンドとして2016年に運用を開始したこのシステムを、今年 Google Cloud Platform(以下 GCP)を中心とした構成に移設しました。この記事では移設に至った理由、移設時の工夫、移設後の構成などについてお話します。 目次 Bigfoot とは 移設前の構成と移設に至った経緯 GCP の選定理由 BigQuery の存在 AI Platform の存在 コスト 移設時の工夫 データウェアハウスの並行運用 ワークフローの二段階移行 行動ログのスキーマ設計 移設後の構成 bigfoot/platform bigfoot/cloud-com

    ペパボのログ活用基盤「Bigfoot」を Google Cloud Platform に移設しました - ペパボ研究所ブログ
    showyou
    showyou 2020/06/16
    移設後の構成がおかしい気が。1.BigQueryからCloud Composerに二本線が出ている 2.EmbulkはCloud Composerから呼ばれてるんですよね?