メルカリAnalytics Infraチームの@__hiza__です。 この記事では、メルカリにおけるデータ基盤の整備について紹介します。 今回は、膨大な生のテーブルについてどのテーブルから中間テーブル化すると効果的か、データにもとづいて優先順位を付けた事例を説明します。 また、あわせて大規模なデータ基盤を改善する際に「データ基盤の利用状況のログ」が役立つことをお話したいと思います。 中間テーブルを作る意義データ分析用の中間テーブルを作成する意義を簡単におさらいします。 例えば、WebサービスのRDBに入っているデータで分析を行う場合に以下のような加工をしたテーブルを用意すると分析が便利になります。 例) 生テーブルを分析に使いやすくする加工の例 よくjoinして利用する複数のテーブルをあらかじめjoinしておく コード化された値を人が見て分かる値に変換しておく(都道府県コード01→北海道
![データ基盤は「データで」改善する − 中間テーブル作成の事例|Mercari Analytics Blog](https://cdn-ak-scissors.b.st-hatena.com/image/square/d7e5e5565885a8ec42b23a5737211441d9cda31f/height=288;version=1;width=512/https%3A%2F%2Fassets.st-note.com%2Fproduction%2Fuploads%2Fimages%2F74380266%2Frectangle_large_type_2_2790e94b17b5af7235b17bb3c8991f8c.png%3Ffit%3Dbounds%26quality%3D85%26width%3D1280)