UTF-8からSJISに変換する時にはShift-JIS系エンコードの種類だけじゃなくてUNICODE正規化も気にしないとダメという話
UTF-8からSJISに変換する時にはShift-JIS系エンコードの種類だけじゃなくてUNICODE正規化も気にしないとダメという話 利用シーン UTF-8で記述されたテキストをShift-JISエンコードに変換する機会はあります。 UNICODEで表現できる文字の種類の方がShift-JISに比べて圧倒的に広いのですべての文字が変換できるわけではありませんが、「これは変換できてよかろう」というものまでこぼれ落ちるケースは多数あります。 以下こぼれ落ちる例とその対応を示します。 サンプルコード まずはサンプルコード。 rubyで記述していますが、原理はどの言語でも同じです。 str = "あ～あ①髙島屋パバぱ" sjis = str.encode(Encoding::Shift_JIS, :invalid => :replace, :undef => :replace) File.
SJISとShift_JISの違いを全部洗い出してみる - Qiita
RubyのSJISはShift_JISじゃない http://qiita.com/yugo-yamamoto/items/21f87b8b8dd135ed1d8a の続き。 じゃぁってことで、どんだけ違うのかってのを一通りみてやりましょうのコーナー。「この文字だけは気をつけようね！」ってことが分かって、予め置換しておけるからね。 SJIS（Windows-31J）のコード体系から、全部のSJISをピックアップし、それらを Shift_JISと見立ててUTF8に変換 SJISと見立ててUTF8に変換 以上の2つを比較して違うものだけを出力 変換できない時には？に置換 というロジックを書いてみた。 def detect_mismatch(hi_byte,low_byte) wchar = " " #2バイトの文字 wchar.setbyte(0,hi_byte) wchar.setbyte(1
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
