UTF-8 エンコーディングの危険性 - WebOS Goodies

基本的に、まともな国際化ライブラリを使っていれば、上記のような不正な文字コードはきちんと処理してくれるはずです。実際、 Opera, Firefox, IE ともに適切にエスケープしてくれました。また、 UCS に変換した後にエスケープ処理を行うことでも対処できるかもしれません。しかし、複数のモジュールで構成されるような規模の大きいアプリケーションでは、そのすべてが適切な処理を行っていると保証するのも、なかなか難しいかと思います。ここはやはり、すべての外部入力に含まれる不正なシーケンスを、水際で正規化するという処理を徹底するのが一番かと思います。 例えば Ruby の場合、不正な UTF-8 コードを検出する最も簡単な方法は、 String#unpack を使って UCS へ変換してみることです（昨日の記事への kazutanaka さんからのはてぶコメントにて、 iconv でも同様なこ

[karronoli]

"UTF-8の非最小形式の問題"って呼ぶの? なるほど，な問題だ．perlのdecode_utf8のCHECK=1で確認したらutf8 "\xC0" does not map to Unicodeってなった．/正規化ってNFCとか関係じゃなくてバイト列を一意に扱うって話?

[toocheapjp]

[L10n}

[webmarksjp]

charset

[kits]

あとで読もう。

[nanakoso]

UTF8は１つの文字に対して一意でない。不正な文字列を偽装して紛れ込ませられる可能性がある。

[hiro_y]

不正なUTF-8シーケンスについて。

[natalico]

d

[miya2000]

あれ？正規化って単語は出てこない？

[the-day]

UTF8

[vogelzug]

そーなんだ

[dlive1]

単純にデコードすると ASCII コードと同じ値になってしまうマルチバイトコードが存在するため、注意が必要。まともな国際Liblaryを使えば大丈夫。iconvを使ってUCFに変換してみることで確認できる。

[odz]

ふむ

[ultraist]

Dひどい

[shidho]

utf8だけで完結させようと思ってはいけない、ということか。

[koyhoge]

UTF-8の不正なシーケンスに脆弱性をもぐりこませる

[nilab]

UTF-8 エンコーディングの危険性 - WebOS Goodies:「UTF-8 の状態で ASCII の特殊記号をエスケープする」ぐらいはさすがにするよ

[rna]

「不正なシーケンスを含んだ UTF-8 文字列に対してエスケープ処理を行っても」それは「バイト列」に対して「文字列」置換かけるのが間違いという話では。でもASCII互換だと思ってついついやっちゃうのかな。

[kazutanaka]

セキュリティというよりも、普通の入力データ正当性チェックじゃないの？RubyでのUTF-8チェックを計測してみたら、iconvとくらべて文字比較が不要なので、String#unpackの方が倍ぐらい速かった。

[ockeghem]

色々考える人がいるものですね。しかし、高木さんの言われるとおり、プログラムの内部コードとしてUTF-8を使うことは、ふつーしないでしょう。

[xlc]

問題が発生するとすればブラウザのバグなんだけど、そこまでやる必要あるのかな。

[mitsuki_engawa]

↑「『UTF-8の状態で特殊記号をエスケープする』という発想が誤り」ふむ。

[hokousya]

UTF-8検証の必要性。なるほど、確かに正規化と呼ぶのが正しい気がしますね。時間を見て修正します。ありがとうございます。