UTF-8→SJIS/EUC-JPの重複文字をまとめてみた - hnwの日記

文字エンコーディングの変換を行うと、異なる2文字が同じ文字に変換されることがあります。このような文字を重複文字と呼ぶことにします。UTF-8→Shift_JISおよびUTF-8→EUC-JPについて、重複文字を自分用の資料としてまとめてみました。 MacOSX上のPHP5.2.9での実験結果ですが、プログラミング言語や環境によらず気をつけるべき文字一覧ということになると思います。 色のついている部分が重複している部分です。「-」となっているのは変換できなかった文字です。また、ヘッダのカッコ数字ごとに文字エンコーディング変換に利用した関数が異なります。詳細は下記の通りです。 (1) mb_convert_encoding($char, "Shift_JIS", "UTF-8") (2) mb_convert_encoding($char, "SJIS-win", "UTF-8") (3) i

[hsaitou]

昨日はまった件

[noopable]

結構重要

[zetamatta]

こういうのを見ると、Unicode を変換の中心に据えない Ruby 1.9 のアプローチは正しいような気がするなぁ

[koyhoge]

やっぱりmbstringとiconvはずいぶん違うなぁ

[asakura-t]

何で今更？……と思ったけど、そろそろPHP界隈でも阿鼻叫喚が聞こえてくる時期なのかな（PHP6で）。Shift_JISは使わずCP932を使っておけと昔から言われているのに。まだまだ啓蒙が足りないらしい。

[mumincacao]

DB のだんぷを内部うにじゃないえでぃたで編集したら『にょろ』が再起不能とかありすぎにう．．．〆（；ｘと【みかん

[rryu]

Shift_JISというかJIS X 0201にはバックスラッシュもチルダも無いので、厳密にマッピングすると変換先が存在しないことになる。よって(3)は間違いではない。

[ockeghem]

これは労作。U+00A5がiconvではShift_JISやEUC-JPへの変換に際して0x5Cに変換されるのでセキュリティ上の問題が発生する可能性。参考:http://itpro.nikkeibp.co.jp/article/COLUMN/20090215/324766/

[Yuichirou]

逆にSJIS/EUC-JPをUTF-8にコンバートするとき、重複文字をどっちに変換するかは（非技術的観点において）非常に難しい問題。

[matsukaz]

文字コードによる違い

[jt_noSke]

ふーむ

[Kwappa]

「iconvの結果は環境ごとに違うと思います。」←勘弁してくだしあ＞＜