Fluentd 経由で BigQuery に Schema-less なログを入れる - Qiita

背景 gumi で提供しているソーシャルゲームは, サーバ/クライアント共に様々なログを Fluentd 経由で各種データストアに入れており, 適宜, 解析を行っている. ログの種別により, Schema-full or Schema-less を選択しているが, 本記事では Schema-less なログの取り扱いを話題とする. Schema-less なログの必要性 サーバ/クライアントの開発時から運用時まで, 常に次のような要望がある. 「気軽に適当なフォーマットでログを出力したい」 Schema-full なデータストアを採用する場合, 開発者に次のルールを強いる必要がある. ログ出力前にテーブルのスキーマを定義せよ ログ出力中にテーブルのスキーマを変更するなら, 別テーブルにせよ これらのルールを開発者が守らない場合, Fluentd 側でエラーが発生するため, 開発者はインフラ

[maaaato]

アドベントカレンダー4日目きたぞおおーーーーーーーーーーーーーーい！