大量データの JSON serialize 処理を高速化し、レスポンスが倍速になった話 - freee Developers Hub

こんにちは、freee会計でワークフロー機能の開発をしている @mitubaEX です。 先日 freee会計のパフォーマンスチューニングに取り組みました。本記事では、調査の流れ、改善の事例を紹介します。 問題発覚までの流れ freee では自社の経理業務に freee会計を利用しており、その中でも経費精算の機能はほぼすべての従業員が利用しています。そのため日々多くのフィードバックをもらえます。そのフィードバックの1つで、「経費精算の一覧を開くのが遅い」という報告をもらいました。幸い表示件数を指定できるので調整すれば遅くはならないのですが、一覧性が下がってしまうため有用な解決策ではありません。 そこでワークフローを開発しているチームで、このパフォーマンスイシューの調査を始めました。 調査する まず事前調査として Datadog*1 で一覧画面を表示するリクエストの処理を確認しました。 一覧

[GENS]

シリアライズはネックになりやすくて、文字列ではなくバイナリのまま扱って高速化するのがここ数年の流れ。Protocol Buffers(Googleが開発)とかMessagePack(neueccさん作・国産案件利用多数)。Ruby実装があるかは知らん。

[aceraceae]

「JSON serialize」そのものを高速化したわけじゃないのね。

[yamadashy]

倍速になったのは p99 で p90 あたりはあまり変わってないように見えるので、最悪のパターンが改善された感じかね。一部の API でシリアライズするデータが大量にあったので重くなっていたと。

[imash]

イマイチな処理を普通の処理に直したのか、普通の処理を一工夫して倍速化できたのか。

[tockri]

JSONの話じゃなかった。

[onesplat]

依存がどうみたいな話ぜんぜんわかんねえな。そこがこの話のキモだろよ。

[mysql8]

JSONLいいよ