[B! nokogiri] noplansのブックマーク

Nokogiriを使ったRubyスクレイピング [初心者向けチュートリアル]

プログラム初心者な方向けに始めたRailsチュートリアルシリーズです。今回はRubyでスクレイピングをしたいという人向けに『Nokogiri』というライブラリを使ったスクレイピングのチュートリアルを作ってみました！ (05-02 08:10) 補足： Windowsではじめての人向けの記事を追加 🏈 目次(1) Webスクレイピングとは？ (2) Nokogiriとは？ (3) 最初に読んでおくと捗りそうな記事 (4) Gem Nokogiriのインストール (5) Yahoo!Japanのトップページからtitleを取得 (6) NaverまとめTechページの注目一覧のタイトル・画像を取得 (7) 実際にコードを書くときに参考になるサイト (8) Railsへの組み込み 🐝 (1) Webスクレイピングとは？WebスクレイピングとはWebサイトのHTMLデータを収集して、特定のデー

noplans 2014/02/16

リンク

Rubyではてダの記事一覧を取得してまとめ頁を作ろう！ - hp12c

継続的にブログを続けていると投稿はそれなりの数になりますそうするとそれをまとめたくなるのが人情ですまとめによって記事の一覧性が高まります運が良ければ古い投稿にブクマやスターがもらえるかもしれませんそんなわけで.. はてダのユーザ単位で記事一覧を取得する HateDa::EntryListというライブラリをRubyで作りました(‥;) 取得したデータには記事のタイトル、日付、URLが含まれているのでそれをベースにして簡単にまとめ頁を作ることができますね！使い方次のサイトからファイルをダウンロードします htmlの解析にNokogiriを使っているのでなければgem install nokogiriしてください GitHub - melborne/HateDa 以下のように使います require 'hateda' hd = HateDa::EntryList.new(:k

noplans 2011/01/27

リンク

Mechanize + Nokogiri の非JIS文字対応 - それはそれ、これはこれ

id:otn:20090429 と id:otn:20090630 と id:otn:20090823 の続き。一旦解決したかに思った、MechanizeのUTF8以外のページの処理ですが、昨日、「mixiの各コミュニティーの最新トピック一覧作成」処理がこけたので調べてみると、№ (1文字の"No.")の文字の所でページが終わったかのごとく処理されてました。やっぱり、「JIS範囲外の文字が混じったEUC-JPのページ」がうまく処理されないようです。「そもそもそんなものは存在してはいけない」という突っ込みは、mixiの方にお願いします。ですが、nkfだとちゃんと 1文字の"No." とか丸付き数字もEUC-JPからUTF-8に変換できます。ページの文字コード変換はMechanizeじゃなくてNokogiriがしていますが、iconv を使っている。iconvで丸付き数字を変換し

noplans 2009/12/14

リンク

Win32な環境でnokogiriを動かすのに手間取ったのでメモ - 今日もスミマセン。

「ふぁぼられったー for Mac」をWindowsでも動かしてみるため、Windowsな環境にnokogiriをインストールしようとしたら、盛大にハマってしまった。以下そのメモ環境 WindowsXP SP3 ActiveScriptRuby 1.8.7 (patch level: 72) な環境でnokogiri(1.3.2)を動かした記録 nokogiriのインストール gem install nokogiri -rでインストール。一度、libxsltが無いと言われて cyg-apt で libxslt-devel をインストールしたが、うまくいかず、結局手作業でインストールしたらインストールできた。このあたりの手順は省略。別エントリとして起こすつもり。 <追記> Cygwinでは、cyg-apt でのlixml2-develとlibxslt-develパッケージをインストール

noplans 2009/06/27

リンク

スクレイピングのためのNokogiri利用メモ - それはそれ、これはこれ

スクレイピングのチュートリアルを書いてみた。参考：http://nokogiri.rubyforge.org/nokogiri/Nokogiri.html まだまだたくさんのクラスやメソッドがあるが(読んでない)、HTMLのスクレイピングに限定すれば多分これくらいで十分。 2014-02-16追記なんかたくさんブックマークされていることに気づいたので、サンプルコードのRuby1.9/2対応のアップデート。 Mechanize周りも修正。WWW::Mechanize → Mechanize 等 (0) 前提知識 Ruby、HTML、DOM、CSSセレクタまたはXPath (1) クラス構造の理解 Nokogiri::HTML::Document < Nokogiri::XML::Document < Nokogiri::XML::Node < Object Nokogiri::XML::

noplans 2009/05/22

nokogiri

リンク

Route 477(2009-04-28)

■ [ruby][scraping] Nokogiriに新機能が取り込まれたよ NokogiriにもWeb::Scraperのshellみたいのが欲しいなーと思っていて、そしたらSequel添付のsequelコマンドが irbを使ってそれっぽいことを簡単に実現してたので、真似してみた。bin/nokogiri んで、コミットしてpull request送ったら採用されました。これは嬉しい。 http://github.com/tenderlove/nokogiri/commit/3038d868ebb620b1bc9a197beefc328d2a4c063e 使い方は、 $ nokogiri http://www.ruby-lang.org/ (もしくはHTMlファイルのパス) などとすると、変数@docに指定URLのHTMLを表すNokogiriオブジェクトが入った状態でirbが起動する