[B! nokogiri] milk1000ccのブックマーク

CP932など特殊な文字を含むHTMLをスクレイピングする - すぎゃーんメモ

Shift_JISで書かれたHTML、例えば下記のような文書をスクレイピングする場合。 <!DOCTYPE html> <html> <head> <meta http-equiv="Content-Type" content="text/html; charset=Shift_JIS"> <title>title</title> </head> <body> <div id="contents"> <div>1.ほげ</div> <div>2.ふが</div> <div>3.ぴよ</div> </div> </body> </html> Content-Typeは下記のように返されるとする。 Content-Type: text/html; charset=Shift_JIS スクレイピング用のライブラリたちは優れているのでUTF-8じゃなくても内部でうまいこと変換してくれたりするのであ

milk1000cc 2012/05/24

リンク

how to make Nokogiri not to convert   to space

i fetch one html fragment like "<li>市 场 价" which contains " ", but after calling to_s of Nokogiri NodeSet, it becomes "<li>市场价" , i want to keep the original html fragment, and tried to set :save_with option for to_s method, but failed. can someone encounter the same probl em and give me help? thank you in advance.

milk1000cc 2011/12/03

リンク

不正な(X)HTMLをNokogiriで簡単に修正する : 野ログはノロキュアMaxHeart

お久しぶりです。カリスマスクレイパーのnogです。こんばんは。最近仕事で使う言語がPerlに変わったのでRubyを書く量が当社比3分の1以下くらいに減ったんですがRubyネタです。 Rubyでスクレイピングとかやってると非常にお世話になるNokogiriですが、それを別の場所で活用できる方法を紹介します。ユーザーにHTMLを入力させてそれを出力するような場合、ユーザーがタグの閉じ忘れとかすると面倒ですよね。ユーザー入力のHTMLの閉じ忘れはNokogiriを利用すれば簡単に修正することができます。 require 'rubygems' gem 'nokogiri' require 'nokogiri' Nokogiri::HTML.fragment("<div><br>").to_s # => "<div><br></div>" Nokogiri::HTML.fragment("<

milk1000cc 2011/01/18

リンク

はてなブログ | 無料ブログを作成しよう

オーベルジーヌ実食レポ食べ物の鼻塩塩(未だに通じるのかな) オーベルジーヌというカレーをご存知だろうか都内にあるデリバリー専門のカレー屋で、ロケ弁などで大人気の本格欧風カレーが楽しめるらしいいいな〜いいな〜オブザイヤー都内の奴らはこんな良いモン食ってんのか許せねえよ………

milk1000cc 2010/10/06

リンク

RADKRAFT: libXML2とlibXSLT

●インストール手順、PC-UNIX編 www.xmlsoft.orgから、 libXML2とlibXSLTのソース配布をダウンロードしてきます。バージョンアップの頻度がものすごく速いので、 FTPディレクトリを見て、その時点で最新のバージョンを見つけて入手するようにするとよいでしょう。適当なディレクトリで展開します。インストールはlibXML2→libXSLTの順で行いますが、両方ともおなじみの「configure → make → make install」でインストールできます。オプションは「configure --help」で表示されるので見て環境に応じて指定します。 % sh configure % make % su root # make install ★libXSLTをコンパイルするとき、 /usr/libに古いバージョンのlibXML2が、その他のディレクト

milk1000cc 2010/09/27

リンク

はてなブログ | 無料ブログを作成しよう

来年も作りたい！ふきのとう料理を満喫した　2024年春の記録春は自炊が楽しい季節 1年の中で最も自炊が楽しい季節は春だと思う。スーパーの棚にやわらかな色合いの野菜が並ぶと自然とこころが弾む。中でもときめくのは山菜だ。早いと2月下旬ごろから並び始めるそれは、タラの芽、ふきのとうと続き、桜の頃にはうるい、ウド、こ…

milk1000cc 2010/06/04

リンク

Route 477(2009-04-28)

■ [ruby][scraping] Nokogiriに新機能が取り込まれたよ NokogiriにもWeb::Scraperのshellみたいのが欲しいなーと思っていて、そしたらSequel添付のsequelコマンドが irbを使ってそれっぽいことを簡単に実現してたので、真似してみた。bin/nokogiri んで、コミットしてpull request送ったら採用されました。これは嬉しい。 http://github.com/tenderlove/nokogiri/commit/3038d868ebb620b1bc9a197beefc328d2a4c063e 使い方は、 $ nokogiri http://www.ruby-lang.org/ (もしくはHTMlファイルのパス) などとすると、変数@docに指定URLのHTMLを表すNokogiriオブジェクトが入った状態でirbが起動する