億件オーダーのデータ移行ツールの検証の際に、確率計算とサンプリングを用いて効率的にテストをした話 - Uzabase for Engineers

こんにちは。 NewsPicksエンジニアの鶴房です。 2020年1月に入社して、既に1年が経ちました！ 今回は入社して最初に任せていただいた案件で、億件オーダーのデータ移行ツールの検証の際に、サンプリングを用いて効率的にテストをした話をさせてもらいます。 何がしたかったのか NewsPicksでは、AWSのRedshiftを用いて、アクセスログやユーザーの行動ログの蓄積と解析を行っています。 解析の結果は、マーケティングの指標や機械学習などに利用されています。 これらのログですが、生データは、RDSやnginxにあるので、それらを加工して、Redshiftに流すスクリプトがありました。 このデータ移送スクリプトをAWS Glueを用いた新しいスクリプトでリプレースすることになりました。 どんな課題があったのか ほぼほぼ完成して後はリリースのみ、となったときにテストをどうしようかという問題

[jukuin2000]

随分前のことのような気がするけどまだ1年か。アイデアだけ提供したらあとは全部やってくれましたね。懐かしい！& 頼もしかった！