こんにちは、オンラインゲームのバックエンド、KPIシステムを担当していますマサヨシです。 先日に引き続き【DMMオンラインゲームで実際に実装しているログとKPI】に関してご紹介する第2回です。 DMMゲームのログ解析~ログ収集と解析の概要~ 第2回はログを実装する際に利用している"Parquet"についてご紹介します。 Parquetとは? こちらは"Parquet"と書くのですが、「パーケイ」と読みます。 Parquetは何かというと、CSVやJSONのようにDBのレコードを格納できるデータフォーマットです。 Parquetはデータフォーマットの中でもカラムナーストレージフォーマットと呼ばれるもので、列方向にデータを格納しています。 そのためカラムへのアクセスが速く、特にSELECT,WHERE,GROUP BYの使用時に効果的です。 また、同じカラムには似たようなデータが格納されている
![DMMゲームのログ解析~Parquetについて~ - DMM.comラボエンジニアブログ](https://cdn-ak-scissors.b.st-hatena.com/image/square/36245f368e0c24934c47e9a0a3b640a341cfa043/height=288;version=1;width=512/http%3A%2F%2Fcdn.mogile.archive.st-hatena.com%2Fv1%2Fimage%2Fdmmlabotech%2F297799762302691939.png)