ZOZOTOWNのDWHをRedshiftからBigQueryにお引越しした話 / Moving ZOZOTOWN DWH from Redshift to BigQuery

ZOZOTOWNのDWHをRedshiftからBigQueryにお引越しした話 / Moving ZOZOTOWN DWH from Redshift to BigQuery

[karikari1255]

redshiftはテーブルロックとかも面倒だしサーバーやDBの物理というか実体を意識せざるを得ない上にデータ量に対して24時間課金されるから業務では選ぶ理由が最早ないレベル

[kaerucircus]

Kinesis firehose で日付パーティションとParquet変換を行ってS3にぶち込んでathenaするのが今から始めるなら安くて簡単にできると思うよー。athenaは日付処理済ならクエリが楽。 メインのシステムがGCPならBQでも良いけどー

[sun330]

決まってるクエリだけなら、BigQueryに行けば幸せになれる可能性高いよなあ。分析者に勝手に回される環境では怖くて使えぬけど。

[sonots]

いつのまにか公開されてた。弊社の「ご飯ですよ」がデブサミで発表しました。

[koyancya]

大変そう過ぎるけど完遂してるのすごい

[yarumato]

“ところで、Athenaは？　2018年4月頃は当時は登場したばかり。クエリの実行速度はBigQueryのほうが高速。データを列志向にしたら高速になっていたかも（？）”　　これはRedshift Spectrumも検討してないな。

[keijak]

'\0' を含むCSVとか作るのやめてあげて…

[atsuizo]

BigQuery移行の話を多く見かけるようになったけど、これについてはAWSの中でもまだまだやれることあった感が強い。ともあれ貴重なレポなので参考にさせてもらいます。

[euglena1215]

railsdmで見たやつだ。なぜこのタイミングでアップロードしたんだろう / デブサミでも発表したのか、なるほど

[fufufukakaka]

みんな移行してるなという印象

[inductor]

お、この前のデブサミのやつ。

[girled]

Embulkでヌル文字、制御文字の処理に困るのってどこでも頭抱えてるんだな。REPLACEプラグインで泣く泣く置換しちゃってるけどこれ、戦争なのよね

[takmnagaya]

デブサミで見たやつ