UTF-8 エンコーディングの危険性の補足 - WebOS Goodies

えー、昨日投稿した「UTF-8 エンコーディングの危険性」の記事ですが、なにを間違ったのか過去最高のアクセスを記録しています。その前の Ruby 用 JSON クラスの反響がさほどでもなく、今回も大したことないだろうと思っていたので、かなりびびってます（（（゜Д゜；）））ガクガク。はてぶコメントでも多くのご指摘をいただきまして、私自身反省している点もあるので、少し補足しておこうかと思います。 昨日の記事の意図は、まず単純に不正な UTF-8 シーケンスの存在を知ってもらい、そして具体的な対策として、入力の水際で不正な UTF-8 シーケンスを潰してしまおうというものです。ここが説明の足りなかった部分ですが、入力段で HTML などのエスケープをしようということではありません。 UTF-8 の正規化は HTML などのそれと違って二重にかけても結果が変わりません。また、目的はクライアントの保

[suttang]

あたしも知りたい ＞ もし私の知らない「UTF-8 を内部コードとしては使わない理由」があるのなら、今後のためにも知っておきたいです。

[hiro_y]

不正なUTF-8シーケンスについて、補足。

[mitsuki_engawa]

文字列の末尾とか途中からの処理が多いことを考えると、外からどう見えるかは別にして、内部処理では固定長（UTF-16/32とか）で扱う方が速度効率がよくて安全かと。

[hokousya]

ありがとうございます。wcharサポートのない言語では文字列を数値配列として扱うことになるので、効率はむしろ落ちるように思うんです。言葉遣いは元記事でもご指摘いただきました。「正規化」が正しいでしょうか。