ruby|perl - 文字コードのちょっと高度な判定 : 404 Blog Not Found

2007年01月11日21:00 カテゴリLightweight Languages ruby|perl - 文字コードのちょっと高度な判定 これははっきり言って悩ましい。ですが、判定が曖昧な場合はその旨をきちんと通知するのがBetter Practiceではないかと思います。 Matzにっき(2007-01-03) 手元のcalkiがUTF-8の「》」相当の文字(U+8BB)を含むエントリが文字化けするので、 nkf-utf8のソースを見てみた。 どうも自動判定の優先順位がEUC-JP,SJIS,JIS,UTF-8で固定されていて、 EUCの範囲内に収まる文字列はすべてEUC-JPとみなすことになっている。 で、UTF-8の「》」はEUC-JPの「損」と同じバイト列なのだ。例えば、以下を行ごとにコード判定すると、以下のような結果になります。 son.utf8 » 損 »損 »Son nk

[lesamoureuses]

文字コード判別はこうやれば良い？perl -MEncode::Guess -le 'my $data;$data .= $_ while (<>);my $enc = guess_encoding($data, qw/euc-jp shiftjis 7bit-jis/);print ref $enc ? $enc->name : $enc;' ファイル名

[shidho]

とはいうものの面倒くさい。

[mstk_knife]

文字コード重要

[yhara]

kconv.rbではだめなのかしら＞API

[Wacky]

判定が曖昧な場合はその旨をきちんと通知するのがBetter Practiceではないかと思います。

[nskt0628]

結果があいまいな場合はその旨を通知する

[hirose31]

Encode::Guess UTF-8とEUC-JPとで同じコードポイントの文字がある件