各種ブログサービスの過去記事を全て取得する - Qiita
※随時追加中 ブログの過去記事全てのタイトルとURLを取得したいのですが、RSSでは最新記事数件しか取得できないので、Webスクレイピングしてしてみます。 今回はRubyでスクレイピングする際の定番ライブラリである「Nokogiri」を使います。まず初めに以下のブログ記事を読む事をおすすめします。 Nokogiri の基本(翻訳版) - ENGINE YARD BLOG 実際に記事一覧を取得する流れは、 (1)htmlを取得 → (2)nokogiriでパース → (3)タイトル/URL取得 → (4)次ページがあれば(1)へ戻る みたいな感じです。 今回はあくまでタイトルとURL一覧を作りたいので、各記事の本文取得までは行っていません。 実際にスクレイピングする時は、以下の記事に目を通す事をおすすめします。 Webスクレイピングの注意事項一覧 - Qiita 記事一覧ページまとめ 各種ブ
Webスクレイピングライブラリ "Yasuri" をリリースしました - Qiita
簡単なサンプルと解説を書いてみました． Yasuriでお手軽スクレイピング よろしければ使ってみてください＞＜ Yasuri とは Yasuri (鑢) は簡単にWebスクレイピングを行うための、"Mechanize" をサポートするライブラリです． Yasuriは、スクレイピングにおける、よくある処理を簡単に記述することができます． 例えば、 ページ内の複数のリンクを開いて、各ページをスクレイピングした結果をHashで取得する ページ内の複数のテキストをスクレイピングし、名前をつけてHashにする ページ内に繰り返し出現するテーブルをそれぞれスクレイピングして、配列として取得する ページネーションで提供される各ページのうち、上位3つだけを順にスクレイピングする これらを簡単に実装することができます． 例 require 'yasuri' require 'mechanize' # Nod
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
