はてなブックマーク

追記 ajido@githubさんにコメント頂き、HTML5のケースに対応して修正しました。ありがとうございます！ Node.jsでスクレイピングをしようとしたところ、文字コードを判定、変換する必要に迫られました。 そこで取得したWebページの文字コードを自動で識別し、UTF-8へ変換するようにしました。 CoffeeScriptで書いてます。 Requirements 以下の npm パッケージが必要です。 - iconv - buffer - request - cheerio 文字コードの識別・変換 取得したWebページのmetaタグから文字コードを取得し、IconvでUTF-8へ変換します。 エラー処理などは特に意識していません。 {Iconv} = require "iconv" {Buffer} = require "buffer" # エンコーディングの判別 getChars