Rettyのデータ基盤の歴史と統合 - Retty Tech Blog

書き手：@takegue (分析チーム) Rettyのデータ活用の多くにはBigQueryが現在利用されており、その活用の方法についてこれまでこのブログでもいくつかとりあげさせていただきました。 engineer.retty.me そのほか分析チームの記事一覧 これらの記事はおかげさまで好評いただいております。いつもありがとうございます。 しかしながら、我々が初期からこのようにBigQueryを使い続けてきかというと、実はそうではありません。 事業の成長とともにデータ基盤を変化させてきた経緯があり、今の成果は過去のトライアンドエラーの賜物であり、数多くの苦労を背景にしてできあがっています。 ほんのつい最近まで、Rettyで構築されていたデータ基盤は表立って見える実態よりもかなり複雑なパイプラインで構成されていました（以降で触れますが、4種類のデータパイプラインが共存しているカオスな状態でし

[hippy-hikky]

"影響のある集計項目を数百種類を洗い出し、それらについての取り決めを行いました" めっちゃ大変そうだけどここで手を抜くと "過去を繰り返し5つのDWHシステムを抱え続ける" になるんだろうな

[arrowKato]

Retty社での分析基盤の4段階の歴史

[showyou]

データ基盤ってどんな技術を使うかだけじゃなく、その基盤で何を解決するかも考えないと行けないよねぇ/RettyさんってDeepLearning装置持ってた気がするけどそことの連携が気になる

[vaaaaaanquish]

良い

[cocoasynn]

すごく良かった。参考になりました

[yuzutas0]

良い

[p1ass]

BigQueryのパフォーマンスの良さよ