Webページの本文抽出 (nakatani @ cybozu labs)
Webページの自動カテゴライズ の続き。 前回書いたとおり、パストラックで行っている Web ページのカテゴライズでは、Web ページの本文抽出がひとつの鍵になっています。今回はその本文抽出モジュールを公開しつつ、使っている技法をざっくり解説などしてみます。 本モジュールの利用は至極簡単。require して analyse メソッドに解析したい html を与えるだけ。文字コードは UTF-8 です。 【追記】大事なこと書き忘れ。本モジュールは Ruby1.8.5 で動作確認していますが、特別なことはしていないので、1.8.x なら動くと思います。 $KCODE="u" # 文字コードは utf-8 require 'extractcontent.rb' # オプション値の指定 opt = {:waste_expressions => /お問い合わせ|会社概要/} ExtractCont
Ruby でスクレイピングするなら scrAPI の parser_options とか WWW::Mechanize の Pageオブジェクト とかに気を付けろ！！ - (ﾟ∀ﾟ)o彡 sasata299's blog
2009年07月10日03:15 Ruby Ruby でスクレイピングするなら scrAPI の parser_options とか WWW::Mechanize の Pageオブジェクト とかに気を付けろ！！ タイトルの通りですが、Ruby でスクレイピングするときって、scaAPI とか WWW::Mechanize を利用するんではないかと思います。hpricot とかも使うかも知れませんが・・。ってことで、自分で実際に使ってみたときに困ったことなどをまとめてみました〜。 scrAPI - スクレイピングのお供 Ruby で scrAPI を使うときにはこのように process に取得したい要素をセレクタで指定したり、取得する値（"@src" とか :text とか）を指定したりします。以下のようにすると、imgタグのsrc部分を抽出して data[:urls] に、aタグのテキス
タイプ別オンライン英会話のおすすめ37選【2023年】TOEIC対策や子供向け・日常会話の学習に | ベストクリア
おすすめのオンライン英会話を徹底比較 ピッタリのオンライン英会話を見つけよう スキマ時間に外出先でも英語学習ができる人気のオンライン英会話 おすすめのオンライン英会話を特徴やメリットで徹底比較 料金や無料体験、学習スタイルが分かる 目的別オンライン英会話おすすめ 幼児・子供向けにおすすめの14社 TOEIC対策におすすめの7社 英検対策におすすめの4社 日常会話の習得におすすめの8社 カランメソッドが受講できるおすすめ4社 日常会話の習得におすすめのオンライン英会話 オンライン英会話は、スキマ時間を活かして、自宅や外出先でも気軽に英語に触れることができる点が最大の特徴です。 英語の習得には、たくさんの方法がありますが毎日少しづつでも英語に触れることが近道です。日常生活で利用できるレベルの英語の学習におすすめのオンライン英会話です。 子供の英会話上達の近道 DMM英会話 2回の無料体験レッス
[ruby] RubyでHTMLとWebを操作するためのライブラリ、HpricotとWWW::Mechanize - Greenbear Diary (2007-02-05)
■ [ruby] RubyでHTMLとWebを操作するためのライブラリ、HpricotとWWW::Mechanize 今日は、RubyでWebサイトを解析するときに強い味方となるライブラリ、HpricotとWWW::Mechanizeを紹介します。 どちらも非常に強力なので、覚えておいて損はないよ！ 以下ではまずHpricotでHTMLを解析・編集する方法について解説します。 次に、「はてなダイアリーの自動更新」を例にWWW::Mechanizeの使い方を解説します。 Hpricot HpricotはHTMLを解析するためのライブラリです。 例えば「あるページのリンクだけを全部抜き出したい」と思ったとき、どうしますか？scrAPIを使う？でもscrAPIはやっぱり ちょっと使いたいだけなのにパーザ(Scrape)用のクラスを定義するのが面倒なんだよね！ Hpricotなら、たったこれだけで
![[ruby] RubyでHTMLとWebを操作するためのライブラリ、HpricotとWWW::Mechanize - Greenbear Diary (2007-02-05)](https://cdn-ak-scissors.b.st-hatena.com/image/square/b0dd2a08b2c0fff30d70543ed7fa340ebfeb5697/height=288;version=1;width=512/https%3A%2F%2Froute477.net%2Fd%2Fassets%2Fogimage.png)
Ruby Scraping - Mechanize
@@ -1,5 +1,8 @@ ウェブサイトのアクセスを自動化するライブラリ。HTMLの解析には[[Hpricot]]を使っている。 +以下のサイトがとてもまとまっています↓ +* [[RubyのWWW::Mechanizeを解説 for 0.9 （仮） - きたももんががきたん。|http://d.hatena.ne.jp/kitamomonga/20081209/kaisetsu_for_ver_0_9_ruby_www_mechanize]] + !リファレンス * class [[WWW::Mechanize]] * class [[WWW::Mechanize::Page]] @@ -36,4 +39,6 @@ !リンク *公式サイト(リファレンスのみ) : http://mechanize.rubyforge.org/ *RubyForgeのプロジェクト
はてなブログ | 無料ブログを作成しよう
来年も作りたい！ふきのとう料理を満喫した 2024年春の記録 春は自炊が楽しい季節 1年の中で最も自炊が楽しい季節は春だと思う。スーパーの棚にやわらかな色合いの野菜が並ぶと自然とこころが弾む。 中でもときめくのは山菜だ。早いと2月下旬ごろから並び始めるそれは、タラの芽、ふきのとうと続き、桜の頃にはうるい、ウド、こ…
RubyForge
RubyForge is a home for open source Ruby projects; thanks to the folks who make it possible! Searchgasm 1.2.1 Ben Johnson - 2008-09-29 13:41 - Searchgasm Searchgasm has been updated to 1.2.1. Searchgasm is object based ActiveRecord searching, ordering, pagination, and more! More information is available at http://github.com/binarylogic/searchgasm . Searchgasm 0.9.6 Ben Johnson - 2008-09-04
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
RubyのMechanizeを解説 for 1.0.0 - きたももんががきたん。
RubyのWWW::Mechanizeを解説してみる古い版 - きたももんががきたん。