UTF-8のコードポイントはどうやって高速に数えるか - Qiita

UTF-8文字列からコードポイント数を計算するアルゴリズムについて紹介します。コードポイント数カウントは、シンプルに書くのはそれほど難しくないものの、高効率な実装は意外にややこしいです。 内容は二本立てです。 実践的な実装について、Ruby(CRuby)の内部実装(string.c)で使われているものを紹介します。 標準Cの範囲を超えて、SIMD命令(AVX/AVX2)を使った実装についても述べます 軽く検索する限りだと既知のアルゴリズムが見当たらなかったので、アドホックな実装をひねり出しましたが、そんなに効率は悪くなさそうです おまけで簡単な性能評価をやってみました。 なお、UTF-8文字列はバリデーション済み（不正なシーケンスでないことが分かっている）であるとします。 Rubyの内部実装だとどうやっているか まずは、それがコードポイントの先頭バイト(leading byte)かを判定す

[nminoru]

x86-64とかARMとかもUTF-8文字列を処理する専用命令を追加してもいい頃だよな。

[mattn]

面白い

[tkmkg8m]

なるほど ″コードポイント数は先頭バイト数に等しい ので、コードポイントを数えるには先頭バイトを数えればよい″