DMMゲームのログ解析~ログ収集と解析の概要~ - DMM.comラボエンジニアブログ

現在オンラインゲームのバックエンド、KPIシステムを担当していますマサヨシです。 今回のブログでは【DMMオンラインゲームで実際に実装しているログとKPI】に関して3回にわたってご紹介致します。 DMMオンラインゲームでは、これまではオンラインゲームのプロジェクトごとに行っていたログの収集方法を統一し、プロジェクトに依存しない基本KPI機能とゲーム独自のKPI機能を実装するためのフレームワークを開発しましたのでその事例をもとにご紹介します。 ログ収集、解析の概要 まず、オンラインゲームのログ収集の全体像をご紹介します。 オンラインゲームのログ収集ではApacheやnginx、PHPのログをfluentdで収集しています。 fluentdに集めたログをHadoopの分散処理システムに保存し、HiveやImpalaで解析をする流れになっています。 ご存知の方も多いと思いますが、HiveとはHD

[diveintounlimit]

ふーん。で？っていう程度に表面的な事しか書いてない。

[daisukebe]

「オンラインゲームではバッチ処理はHive、リアルタイム処理はImpalaと使い分けて実装」、次回はParquet（パーケイ）の説明とな

[shingok]

#slmtech

[y___u]

fluentd大正義

[s-wool]

impalaだ

[neogratche]

なるほど分からん。「MapReduceジョブ」が何なのかすら分からん始末

[hidesuke]

@mashwish じゃないか！　俺達のまろじゃないか！

[zonomasa]

yapc で@repeatedly さんの発表聴いたおかげか、構成の説明がよく理解できた。

[wyukawa]

DMMはImpalaか。それはそれとしてMySQLとHiveでデータをやりとりするのが面倒臭そうに見えるのと、MySQLは分析用途に向いてないのでは？と思ったけど、どうなんだろ。

[toyama0919]

DMMはimpalaなのかあ

[sonots]

impala

[showyou]

今ってFluentdの必ず一回送信機能ってついたんだっけ？(課金に問題),Laravel5は知らなかった

[shiumachi]

“fluentdに集めたログをHadoopの分散処理システムに保存し、HiveやImpalaで解析をする流れになっています” Impala 使ってるってマジか

[suginoy]

“Impalaの良さは可能な限りキャッシュし、高速に実行されるところ”

[kwms]

#fluentd

[tagomoris]

ここでも #fluentd + fluent-plugin-webhdfs か