はてなブログで遭遇したPerlの正規表現のパフォーマンス問題について - Hatena Developer Blog

こんにちは。はてなブログチームの id:Furutsuki です。 はてなブログはPerlで書かれています。内部で利用しているPerlのバージョンを、今年、Perl 5.42.0 に更新しました。その際、Perlの正規表現の内部処理の変更に伴うパフォーマンス問題に遭遇しました。この記事では、どういう問題だったのかとその対応について書きます。 Perl 5.42.0へのバージョンアップ 問題の特定と修正について PRについて簡単な解説 その後 Perl 5.42.0へのバージョンアップ 問題に気がついたのは、バージョンアップ対応を行い、開発環境で動作確認しているときです。動作確認として、適当なエントリを作成し投稿してみたところ、サーバからのレスポンスが返ってこないという現象に遭遇しました。 調べたところ、記事投稿時の処理の中でメモリの使用量が急増し、OOM Killerによってリクエストを処

[u_wot_m8]

テスト１つ落ちてるじゃんと思ったら、AUTHORSに名前入れろってことか。勲章やね

[likk]

4MBの正規表現やばそう

[masawada]

尊い活動

[hirata_yasuyuki]

バックトラックかな? と思ったら、もっとハイレベルな話だった。

[rna]

「本文中から正規表現にマッチする文字列を列挙…キーワードとして認識する語は30万語以上あり、それらすべてにマッチするような正規表現」無茶するなと思うけど漏れなくヒットさせるにはこれが最速だったんだろうか

[hinaloe]

すんなりマージされたんだ

[lenhai]

はてなブログはPerlだったんだ。そして、普通にパフォーマンス問題の原因を特定してくれるAI凄い…