UTF8からCP932への文字コード変換でIconv::IllegalSequence - After Effects&Flash＋αテクニック集
こんばんは！ 会社でRuby on Railsを使ってますが、Iconvの文字コード変換ではまりましたのでまとめておきます。 IconvでUTF8からCP932に文字コード変換する際、"〜"(波ダッシュ)が文字列に含まれていると Iconv::IllegalSequenceが発生します。 （後から聞いたところによると結構有名な話のようですね） Windows XP 以下、rubyのバージョンです。 > ruby -v ruby 1.8.6 (2007-09-24 patchlevel 111) [i386-mswin32] 以下、irbで確認した結果です。 > require "iconv" => true > Iconv.iconv("CP932", "UTF-8", [0xff5e].pack('U')) Iconv::IllegalSequence: "\357\275\236" f
たむら::日本語文字コードの自動判定
Ruby による日本語文字コード判別ライブラリの比較 してみた。いいづからぐのネタです :-) そもそも nkf の utf-8対応版が出た。 簡単に NKFモジュールに対応出来るんじゃ む。nkf自体には文字コード判別のルーチンって独立してないんだ NKF.guess って nkfとは関係ないルーチンじゃん 現状の判別ライブラリたち NKF.guess(rb_nkf_guess) もともとの NKFモジュールの実装。 関数のコメント。 /* * Character code detection - Algorithm described in: * Ken Lunde. `Understanding Japanese Information Processing' * Sebastopol, CA: O'Reilly & Associates. */ 最大の問題点は、EUC,SJIS,J
RubyのMechanizeで文字化けするページがある件について | インサイドフラッギング
Mechanizeがときどき日本語のページで文字化けするので、原因と解決方法を調べてみた。確認したバージョンは次の通り。 Ruby 1.9.1-p378と1.8.6-p111（Ubuntuのパッケージ） Mechanize 1.0.0 Nokogiri 1.4.2 libxml2 2.6.31（Ubuntuのパッケージ） エンコーディングの扱い Mechanizeの内部エンコーディングはUTF-8に固定されていて、ドキュメントのエンコーディングが何であれUTF-8に変換される。これはMechanizeがHTMLパーサに使っているNokogiriの仕様であり、Nokogiriが依存しているlibxml2の仕様でもある。そういう事情でMechanizeから取り出した文字列はすべてUTF-8になっている。Ruby 1.9だとString#encodingはEncoding::UTF_8にセットさ
Rubyist Magazine - 標準添付ライブラリ紹介 【第 3 回】 Kconv/NKF/Iconv
『るびま』は、Ruby に関する技術記事はもちろんのこと、Rubyist へのインタビューやエッセイ、その他をお届けするウェブ雑誌です。 Rubyist Magazine について 『Rubyist Magazine』、略して『るびま』は、日本 Ruby の会の有志による Rubyist の Rubyist による、Rubyist とそうでない人のためのウェブ雑誌です。 最新号 Rubyist Magazine 0058 号 バックナンバー Rubyist Magazine 0058 号 RubyKaigi 2018 直前特集号 Rubyist Magazine 0057 号 RubyKaigi 2017 直前特集号 Rubyist Magazine 0056 号 Rubyist Magazine 0055 号 Rubyist Magazine 0054 号 東京 Ruby 会議 11 直
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
