Ruby製のクローラー Anemoneの文字化け対策 - プログラマでありたい
何度も取り上げていますが、Ruby製のクローラーであるAnemoneについてです。もう2年ほどメンテナンスされていないものの、Rubyの中のクローラー・フレームワークとしては未だに一番の完成度です。しかし、残念ながら幾つかの問題点があります。その中で日本語を扱う我々にとっては一番大きな問題は、文字化けです。 Anemoneの文字化けの原因 Anemoneの文字化けの原因は、ずばりUTF-8以外の考慮が何もされていないためです。Anemoneが利用するHTMLパーサーであるNokogiriは、もともと内部的な文字コードをUTF-8として扱います。UTF-8以外の文字コードを扱う場合は、文字コードを指定して渡す必要があります。それにもかかわらず、AnemoneがHTMLをパースする時は、次のような実装になっています。 # # Nokogiri document for the HTML bod
doing – 今何をしているかを記録
MOONGIFTはオープンソース・ソフトウェアを紹介するブログです。2021年07月16日で更新停止しました 作業ログを残していきましょう！ Todo管理の重要性は皆さんが知るところでしょう。しかし個人的にはToDid、つまりやったことのリストも大事だと思っています。これからやるべきこと、やっていること、やったこと…その3つが蓄積されてこそ成長があるのではないでしょうか。 ということで紹介したいのがdoingです。今何をしているかを記録していくというToDoingを管理するソフトウェアです。 doingのインストール Rubygemsで配布されていますのでインストールは簡単です。 $ gem install doing doingの使い方 例えば次のようなコマンドを打ちます。 $ doing now "Research for MOONGIFT" これで記録完了です。他にもサブコマンドはた
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
