BizReachプロダクト開発部、SREグループの久保木です。5月頃に中途で入ってきて、今はinfrastructure中心に開発に従事しています。 最近はlog生成周りをいじっていった結果、生成元であるapplicationもいじれるようになってきた気がします。あとはfrontendいじれば制覇かな!(<どこに行く気なの?) ところで、元々僕は何かを作る時に延々とmemoがてら作業進捗を書いていく癖があります。 それで作業が一区切りしたところで、 「あれ、これ記事のネタになるんじゃない?」 と思ったので書いてみることにしました。ボリュームがあるので連載にてお送りします。 どうぞよろしくお願いします。 前編: 概要 中編: 技術調査・設計 後編: 七転八倒ログ 何があったのか まず、前提。 BizReachのapplicationはlogをS3に飛ばして、そこからなんやかんやあって(後述)
![AWS S3に蓄積したlogをGoogleのBigQueryに投入する仕組み作り~概要編~ - BizReach Tech Blog](https://cdn-ak-scissors.b.st-hatena.com/image/square/4824bd48623d0b9336fe453d112062576fcff1f3/height=288;version=1;width=512/https%3A%2F%2Fengineering.visional.inc%2Fblog%2F_287%2Flog-insert-to-bigquery-from-s3-1%2F2018_11_19_ogp_hue5c66691d9f4ee166e104ea5ff430974_517960_1200x630_fill_q90_bgffffff_lanczos_center_3.jpg)