Ruby : Nokogiriはバイナリモードで読んだhtmlの文字コードを自動で判別しにいく - Qiita

はじめに open-uriでhtmlを読み込み、Nokogiriでパースしてスクレイピングを行っていたのですが、その際Nokogiriのエンコーディングをnilに（もしくは省略）しても文字化けを起こすことなくパースができていました。 open-uriでhtmlを読むときはバイナリで読み込まれるので、バイナリで読み込まれたhtmlを、エンコーディングnilにしてNokogiriでパースするとどうなるか、ということに焦点をしぼって検証してみました。 HTML.parseのエンコーディングを「nil」にしてみる Nokogiriでhtmlをパースするときのエンコーディングをnilとしてみます。HTML.parseの第三引数にnilを設定します。 今回読み込むのは以下のhtmlです。ファイルはShift_JISで書かれています。