Athena+Embulk+BigQueryによるアプリケーションログの分析環境構築

はじめにこんにちは、Finatextで証券プラットフォーム（Brokerage as a Service、以下BaaS）の開発に携わっている石橋（@bashi0501）です。過去のFinatextテックブログではTerraform、CDKとIaCをテーマにした記事しか書いたことがなかったのですが、今回はログの分析活用をテーマとします。 概要弊社の証券事業ではECSによるワークロードを組んでいます。本テーマのアプリケーションログについては標準出力したものをawslogsログドライバーが回収してCloudWatch Logsに送信しています。 ログの検索という観点ではCloudWatch Logs Insightsというサービスでかなりリッチにフィルターや集計を行うことができるのですが、ログデータを元にしたユーザーのファネル分析や業務改善（後述します）に活かしていきたいという意図があるため、マ

[tossy_yukky]

AthenaとBQの両刀使いなのか

[stk132]

“FirehoseのArrivalTimestampに基づくため” これ地味に困るんだよな。イベントそのもののtimestamp見てほしい

[bonlife]

やっぱりBigQueryの方が扱いやすいんですかね。あまりRedShiftの話聞かないし。

[for-my-internet-demo]

ログの仕様きになる

[koushidonadona]

BigQueryによるログ分析　[AWS][fintech][Finatext][あとで読む][Athena][Embulk][BigQuery]