Ruby の invalid byte sequence in UTF-8 例外を encode("UTF-8", "UTF-8") で回避するのはおかしいよ、という話 : sonots:blog

[udzura]

"UTF-16BE", "UTF-8" にも（仕方ないとは言え）バッドノウハウスメルが漂うので、やっぱり不正な文字をクリーンアップするようなメソッドがあれば幸福っぽい……

[tmtms]

"@tmtms さんのブログの記事が大変詳しくて勉強になる" !!! / http://bugs.ruby-lang.org/issues/6752 これを早く取り込んでもらうようにみんなでコメント書くのがいいと思うよ!

[suginoy]

“追記: Ruby 2.1.0 には不正バイトを除去する専用のメソッド String#scrub が追加されます”

[fenrir-naru]

文字コード

[inouetakuya]

把握しました

[azihsoyn]

これだ。。。“encode("UTF-16BE", "UTF-8", :invalid => :replace, :undef => :replace, :replace => '?').encode("UTF-8")”

[south37]

“@tmtms さんのブログの記事”

[muvoiaia]

何の意味があるのだろうと思ってたけどこういう意図で書いていたのか…

[yo_waka]

うーむ

[diveintounlimit]

UTF-8をUTF-16BEにしただけに見えて、この方法もバッドノウハウ臭がするのだけど・・・

[chezou]

これと、Ruby1.9系列での文字コードのguessがいつも面倒

[june29]

知らずにハマったらやばい部類のやつだ。覚えておこう。

[ockeghem]

興味深い。PHPとは異なり、RubyだとUTF-8→UTF-8の変換を指定しても何もしない。しかし、Rubyのバグにより、正規表現マッチなどで例外が発生しなくなる

[Nyoho]

回避のバッドノウハウではなくバグだったのか! そういえば、そろそろ放置しているうちの混ざりんこデータどうにかせにゃ

[Hash]

Rubyのバグなのか... 直さないと

[mas-higa]

str.force_encoding(Encoding::ASCII_8BIT) しておいて str.encode!(Encoding::UTF_8, invalid: :replace, undef: :replace, replace: '?') でいいんじゃね?

[naka-06_18]

encode("UTF-8", "UTF-8")で例外が出なくなるのはバグとのこと

[gikazigo]

Ruby の invalid byte sequence in UTF-8 例外を encode("UTF-8", "UTF-8") で回避するのはおかしいよ、という話 : sonotsのblog

[tagomoris]

アッハイ > 修正版pullreq

[kamipo]

encode("UTF-8", "UTF-8") で何も起こらない(変換されてない)と思ってたけど例外が上がらなくなるバグがあったのか…