RailsのログファイルをMessagePackで超高速解析!｜TechRacho by BPS株式会社

最近Railsがガンガン出力するproduction.logを解析してどのアクションがリクエスト多いのか、DBがボトルネックになってるアクションはないか、などを調べているんですが、production.logがどんどん肥大化して、解析ツールの開発イテレーションを回す際の効率が悪くなってきました。 また似たようなツールをやたらめったらコピペで作ってきたため、開発効率も悪くなってきたので、ここでAPIを整理しつつ、あわよくばログをなめる部分を高速化できないものかと考えました。 シンプルに正規表現をつかって変化する箇所を切り出していたのですが、これではかなり重いのは自明ですし、がんばって文字列をパースするパーサを作ってもrubyではあまりスピードは出なそう、でもrubyで書きたいし.... ということで、一度パースしたデータを読込みに効率よさそうな形式に変換することで、次以降の解析を高速化しよう

[yuya_lush]

これは試してみようっと。

[masakano]

messagepack面白そうだけどいじってる時間無いなあ / RailsのログファイルをMessagePackで超高速解析! « BPS株式会社 開発ブログ Beyond Perspective Solutions LTD.

[tinsep19]

ログファイルをmsgpackをつかってバイナリ化、ログ解析を高速に。

[poafag]

rails ログ 解析 パフォーマンス

[tomotaka-ito]

書いた。まぁ自己満だよね。