DMMゲームのログ解析~Parquetについて~ - DMM.comラボエンジニアブログこんにちは、オンラインゲームのバックエンド、KPIシステムを担当していますマサヨシです。 先日に引き続き【DMMオンラインゲームで実際に実装しているログとKPI】に関してご紹介する第2回です。 DMMゲームのログ解析~ログ収集と解析の概要~ 第2回はログを実装する際に利用している"Parquet"についてご紹介します。 Parquetとは？ こちらは"Parquet"と書くのですが、「パーケイ」と読みます。 Parquetは何かというと、CSVやJSONのようにDBのレコードを格納できるデータフォーマットです。 Parquetはデータフォーマットの中でもカラムナーストレージフォーマットと呼ばれるもので、列方向にデータを格納しています。 そのためカラムへのアクセスが速く、特にSELECT,WHERE,GROUP BYの使用時に効果的です。 また、同じカラムには似たようなデータが格納されている
