「正規表現が0.002ミリ秒遅かった」という理由だけで、全角/半角判定をすべて『ビット演算』で実装した話 - Qiita

この記事は Qiita Tech Festa 2026「この記事誰得？ 私しか得しないニッチな技術で記事投稿！」 の参加記事です。 はじめに みなさん、文字列の全角・半角判定、どうやってますか？ 大半の人はこう答えるでしょう。 「正規表現で /[^\x20-\x7E]/ とか使えば一発じゃん」 はい、大正解です。実務では絶対にそうしてください。 しかし、私はある日、自分専用の超巨大なテキストログ（数GB）をパースする自作ツールを作っている最中に、ふと思ってしまったのです。 「正規表現エンジンのオーバーヘッド……許せねぇ……！」 この記事は、ほんの数ミリ秒の高速化のために、休日の12時間を溶かしてUnicodeの海を泳ぎ、全角半角判定をすべて「ビット演算」だけで再実装した、私しか得しないニッチな狂気の記録です。 なぜ正規表現を捨てたのか？ 私が処理したかったのは、「半角英数記号」と「それ以外

[dollarss]

“「正規表現エンジンのオーバーヘッド……許せねぇ……！」”気持はわかるけど実装しちゃうかなwめんどくさいを排除するためにどんなにめんどくさい事も厭わないソフトウェアエンジニアあるある

[sgo2]

多分素直な数値比較が最速のはず

[umaemong]

楽しそうだし、この経験が血肉となる。敢えて指摘すると、1文字の判定なら大多数が普通に数値比較で書くと思う。ビット演算結果を結局"比較"してることに気付こう。ちな、[\xA1-\xDF]はSJISの場合。

[tk_musik]

個別最適を実装してるときが一番楽しい。／ネットメディアに書いてもらったら見出しは「3倍超の速度アップに成功！」となり、最後に標準ライブラリは何をやってるのか的な批判で終わるんやろなぁ。

[chiroruxx]

それを半角と呼んでしまうのは危うい

[moxtaka]

前世紀の頃、SJISとJISとEUCでそれぞれマルチバイト判定をどうするかみたいなのは割とあるあるなテーマだった気がする。（まだUTF-8は一般的じゃなかった）

[ilyaletre]

解決する問題を絞ることで仮定を作って最適化する。一般から特殊に解法をフォーカスさせる。お手本だ。

[mohno]

「正規表現で /[^\x20-\x7E]/ とか使えば一発じゃん」→そんなわけないよな、と思ったら、そんなわけなかった。むしろこんなシンプルな判定に正規表現を使う気はしないくらいだが、JavaScriptだからか意外に差がないんだな。

[auto_chan]

たのしそうでよかった。プログラミングのおもしろさだね～。

[masaru_al]

『よく見かける正規表現に /[^\x20-\x7E\xA1-\xDF]/ というものがありますが、これには重大な罠があります』今の子たちってもしかして Shift-JIS って知らない？

[nekoline]

楽しそうだからブクマ

[naoya2k]

Ä(U+00C4)を全角扱いしていいというのなら、もう、その半角ってのはU+007F以下だけを指定する言葉になっているだけなので、あとは蛇足でしかないんじゃないかなあ…

[tekimen]

ビット演算使って全角半角判定できるならSIMD使えるかもしれないなと思いました。 / あ、JavaScriptか。失礼しました

[MarvinParnroid]

エンジニアには、楽する為にはどんな努力も惜しまないと言うバグが実装されている。

[oktnzm]

面白い実験だけど、Unicodeは半角/全角に二分できないし、実装例は制御文字も半角扱いになる点に注意。素直な範囲比較がよさげ。

[cl-gaku]

まあでもこういうのが血肉になるよね

[uunfo]

数値比較版と「同じ」「ほぼ同じ」「変わらない」と書いてるけど、数値比較版の方が速いじゃん

[caffephilia]

ちゃんと速くできててすごい（学生のころ文字列探索アルゴリズムの講義があった後に find | xargs grep 的なコマンドがもっと早くならんかと機能を絞った grep を C でナイーブに書いたらアホみたいに遅かった思い出（隙自語

[Fluss_kawa]

UUIDの比較に文字列そのままでやってて遅いっていうやつですね。あれはいったん数値に変換して比較するんですよ。

[Angelfish3578]

ウケた「実務で使ったらコードレビューで燃やされます」

[hiront_at_nagoya]

isascii()使えば良くね？ と思ったらJava scriptなのね。

[tofu-kun]

楽しそう

[sucelie]

10円安い商品のために隣町まで車で行くような話

[hecaton55]

興味深い

[strawberryhunter]

数GBのログか。以前Perlで書いたら死ぬほど遅くてJavaで書いたら一瞬だったからNode.jsも一瞬だろう。でも良いと思う。

[shodai]

“正規表現の落とし穴：\xA1-\xDF では半角カタカナを判定できない”

[otoku-memo]

記事もコードもAIで書いてんのに12時間もかかるわけないと思うんだが…

[dalmacija]

Java……Script……？？？でもこういうスタイルは好き

[suka6411144]

比較と変わらないのはそれはそう、結局引き算するだけだしビット演算と対してコストは変わらない

[korilog]

言語変えた方が早くない？

[restroom]

“……あれ？ このコードを書くのに調べ物含めて 12時間 かかっているのですが、この 0.15秒 のリターンで投資を回収するには、一体何回このスクリプトを回せば”、趣味だからこういうのが楽しいのでしょう

[crimson_diamond]

失敗の共有素晴らしい、そう、爆速にこだわるなら、言語の選定から間違えている