最新のログもすぐクエリできる速くて容量無限の最強ログ基盤をRedshift Spectrumで作る - クックパッド開発者ブログ

こんにちは。去年の今頃は Rust を書いていました。 インフラストラクチャー部データ基盤グループの id:koba789 です。 背景 クックパッドではデータ基盤の DBMS として Amazon Redshift を利用しています。 既存のデータ基盤について詳しいことは クックパッドのデータ活用基盤 - クックパッド開発者ブログ を参照してください。 今まで、ログは数時間に1度、定期実行ジョブで Redshift 内のテーブルにロードしていました。 ロードジョブの実行間隔が "数時間" と長めなのは、Redshift のトランザクションのコミットが遅いためです。 クックパッドでは数百ものログテーブルがあるため、仮に1分おきにすべてを取り込もうとすると秒間数回以上のコミットを行わなければなりません。 このような頻繁なコミットは Redshift 全体のパフォーマンスを悪化させてしまいます

[koba789]

今年の新作、やっと出ました

[hyaknihyak]

prism spiralだ

[aquarickn]

金額面の話も合わせて欲しかった。parquetにする面倒さを全て丸めてるPrismは最高かと思うので、いつOSSで出してくれるか気になる

[quabbin]

parquetはBigQueryで使われているdremelの論文を元にして作られているので、BigQueryの特性に似た特性を出すことができるわけで、移行期の選択としては、わりかし妥当なのかもなぁ

[den8]

redshiftのコストを考えたらちょっとうちの規模で真似はし辛い。コスト面でもうまくスケールするソリューションないかなあ。

[everysick]

koba789 先生の新作だ！

[rochefort]

redshift spectrum

[tmatsuu]

ふむ。いま新規にログをParquetでS3に保存したければKinesis FirehoseでParquet変換かなーと思っている今日このごろ。まだ実践には至ってない。

[niseissa]

クックパッドはさすがだなぁ、技術力がすごい

[mrkn]

Prism の中身知りたい

[iyoo14]

“で読めるテーブル(以下、外部テーブル)の内容は Redshift へではなく、S3 に直接書き込みます。 そのため、トランザクションによる保護はなく、同一トランザクション内であっても、複数回の読み取りはそれぞれ別の結果

[ebo-c]

「絶対ジョブをリトライ可能にしたいエンジニアやデカいデータなんとかしたいエンジニアを募集しています」今までに見て覚えてる求人要項で一番力強い

[uzuki-first]

強い。。！

[snowcrush]

素敵

[moro]

“それ自体の理解はもちろんのこと、自分たちの課題をじっと見つめ、ひとつひとつ丁寧にトレードオフを選択していくことで強力な武器となります。” 仕組みもスタンスも超よい！/ DELAYEDのデータはMERGEされない?

[uzimith]

クッ社のログ基盤

[iguchi1124]

すごい

[motchang]

“id:koba789”

[Yoshiori]

“Prism の各処理をいかにリトライ可能にしたかなど、まだまだ 自慢 解説したい内容は尽きないのですが、それについて書き始めるといつまで経っても本記事を公開できそうになかったため、ここで筆を置かせていただきま

[tomo_ari]

Redshift の裏を S3 にすることで爆安・容量無限にしてるのすごい、とだけ思わせておいて、その上でたった今届いたログも Redshift から読めるようにしているのはもっとすごいな

[yohei-kikuta]

良い

[s_osa]

“自分たちの課題をじっと見つめ、ひとつひとつ丁寧にトレードオフを選択していく”

[hokaccha]

強い