バッチ処理の一部で 30 分以上かかっていた処理を 14 秒で終わるようにした話 - @watson1978 の日記

Ubiregi Advent Calendar 2018 の 18 日目です。 ユビレジではたくさんのお客様の大量の POS データをお預かりしており、様々なバッチ処理も実行されています。今回は特定のケースでバッチ処理の一部が 30 分以上かかっていた処理を 14 秒で終わるようにした話について書きたいと思います。前回の Ruby 2.5 の SEGV と闘った話 - @watson1978 の日記 に引き続き DTrace を使った話になります。 はじめに ユビレジでは CSV ファイルでお客様が特定のデータをダウンロードしたりアップロードできる機能があります。CSV ファイルにエクスポートしたり、CSV ファイルから DB に取り込む処理を Worker を起動してバッチ処理しています。 大量のデータを保有しているアカウントと同量のデータを用意して手元の環境で試したところ時間がかかるこ

[Watson]

書いたよ( ˘ω˘)

[megumin1]

ループの中にO(N)の処理を入れていたのでO(N^2)になっていたという典型的な凡ミス。なぜかタイトルが美談っぽくなっているけど「いつも20時間かけて歩いていたけど電車でいったら普通に1時間だった」くらいが適切では？

[gfx]

プロファイラだとリビルドしなくても使えるけどそれじゃ駄目なのかな。 / ところでまさにこの用途のためのsetという標準ライブラリがあります中身はhashだけど。

[worldproxy]

バグなんて大抵バカらしい原因がほとんどだし、これは実装者が別かもしれない。そこでマウントする必要はないよね。ちゃんと計測して定量的に問題箇所を特定できているというのが主題でとても良いと思った。

[el-condor]

この場合はSetを使えばよかったのでは…確かに言語問わずSetはListに比べてあまり使われない印象があるけど便利ですよ

[humid]

こういう華麗な原因究明と最適化は門外漢が見ても気持ちいい。

[somemo]

計算量知っていることと、計測は大事だね問題

[sasasin_net]

パフォーマンスチューニングはこのくらいズバッと決まると爽快

[faibou]

まぁ言いたい気持ちもわからんでもないけど、いちいち蔑むようなブコメはしなくていいんじゃね。性格悪。一緒に仕事したら常にマウント取ってそうｗ

[Chiastolite]

強い

[luccafort]

なるほど、DTrace知らなかったけど便利そう…と思ったけどブコメみてプロファイラ調べたらこっちのほうが良さそうなきがしてきた。なんか特別な問題あったのかな？

[masutaka26]

DTrace を使って、Ruby のコードに一切手を加えずに原因箇所の特定と対策ができた話

[mactkg]

dtraceおもしろい

[kkobayashi]

元のコードがひどい。。rubyのプロファイリングって自前でコード書かないといかんの？あまり便利そうに見えんけど

[John_Kawanishi]

バッチファイルじゃなくてRubyかぁ（焦

[Wacky]

“rbenv で Ruby をインストールする際に、以下の様にオプションを指定すると macOS 上で Ruby の DTrace 機能が有効になります。”

[softstone]

次はコードレビューで事前にパフォーマンスバグの混入を防いだ話が聞きたいですね＞＜

[sonota88]

DTrace

[kenzy_n]

解析と改良

[rryu]

O(N^2)でも100件くらいだと全然効いてこないので実装時には気づかないが、遅いと言われて中を見ると普通に遅いことをやってたやつだ。

[uva]

ruby / 自分からはアウトプットを提供しないコメントが趣味のフリーライダーが沸いてるな。問題を解く前ならまだしも問題が何かわからないうちは黙ってて、問題を解き終わった後にクソを残していく

[kojietta]

この例に限らず、開発スピード優先で、もっと速い処理あるけど今はこの処理でいっか。としておいた所が後々問題になるというのは、ままあることかもしれない

[jun_ya]

‪ここまでじゃないけど似たような雰囲気(うまく言えないので察して)なのはよく見かける。しかもサービス側で。

[pekee-nuee-nuee]

DTrace、しらなかった

[napsucks]

コーダーがコードするとこうなる

[tkmkg8m]

Hashで問題はないしブコメにあるようにSetでもいいけど、この例なら unique_data = data.uniq; raise unless data.size == unique_data.size が数倍高速。まぁ今回の肝はそこじゃなくDTraceでのプロファイルだけど。

[natu3kan]

＞Array#include? では配列の各要素の文字列を一つずつ比較することになるので、要素が多くなれば当然遅くなります。Hash を使えば簡単にデータの各要素がユニークかチェックできそうだったので以下の様にしました。

[osnq]

正直現象だけで察せれるレベル

[Helfard]

DTrace 便利(\( ⁰⊖⁰)/)

[june29]

いい話だな〜。

[hamukatumix]

もともとの実装が稚拙すぎてせっかくの改善なのに残念感がすごい。こういうの世の中にいっぱいあるんだろうなあ……。

[te2u]

あるある話。

[oktnzm]

高級言語になると複雑な処理があまりにも簡単にできすぎちゃって、こういうことおこっちゃうのよね。中で何が行われるかに思いを馳せることが大事ｗ／オーダー（計算量）がどれくらいになるかは把握しておきたい。

[vanbraam]

dtraceとかstraceとかちゃんと使えると便利だよなぁ.使い始めるまでの(自分の)敷居が高いのが辛い

[InoHiro]

dtraceを使って重たいところを見つける

[yosiesi324]

すごい！