クローラー開発勉強会を行いました - 40歳からのキャリアチェンジ
昨日ですが、いつもお世話になってるCo-Edoで第1回クローラー開発勉強会を行いました。 クローラー開発というニッチなテーマのものをなぜ開催しようと思ったのかというと モバイラーズオアシスの中の人であるもぎゃさんから、モバイラーズオアシスで使っていたスクレイピングライブラリについてちょっと意見を聞かせて欲しいっていう話をメッセでもらった 実際にCo-Edoで会ってもぎゃさんと色々とクローラーの話をしてたら、互いにあるあるネタが結構満載で、きっと似たような経験ある人が他にもいるんじゃね？っていう感じになり、それなら何かイベントしましょう っていうのがきっかけでした。 発表資料など もぎゃさんの発表資料はこちら 昨日は時間の都合で技術的な深いところは触れなかったので、そちらについて深く知りたい方むけのスライドとして実践スクレイピングを紹介されてました 自分はこちら 昨日気づいたけどSlideS
Nokogiri、Anemoneでスクレイピング（Amazonベストセラー情報） - Qiita
Nokogiriとは gemで提供されているスクレイピングライブラリのこと。 公式サイト http://nokogiri.org/ Nokogiriインストール gemでインストールする。 gem install nokogiri Anemoneとは クローラーのフレームワークとして開発されたRubyのライブラリです。 Anemoneインストール gemでインストールする。 gem install Anemone rubyスクリプトを作成（サンプル） require 'anemone' require 'nokogiri' require 'kconv' urls = [] urls.push("http://www.amazon.co.jp/gp/bestsellers/kitchen/124048011/ref=sv_k_0") Anemone.crawl(urls, :depth_l
Webスクレイピングライブラリ "Yasuri" をリリースしました - Qiita
簡単なサンプルと解説を書いてみました． Yasuriでお手軽スクレイピング よろしければ使ってみてください＞＜ Yasuri とは Yasuri (鑢) は簡単にWebスクレイピングを行うための、"Mechanize" をサポートするライブラリです． Yasuriは、スクレイピングにおける、よくある処理を簡単に記述することができます． 例えば、 ページ内の複数のリンクを開いて、各ページをスクレイピングした結果をHashで取得する ページ内の複数のテキストをスクレイピングし、名前をつけてHashにする ページ内に繰り返し出現するテーブルをそれぞれスクレイピングして、配列として取得する ページネーションで提供される各ページのうち、上位3つだけを順にスクレイピングする これらを簡単に実装することができます． 例 require 'yasuri' require 'mechanize' # Nod
Capybara+PhantomJS+Nokogiriを利用してスクレイピング - プログラマでありたい
CapybaraとPhantomJS、Nokogiriを利用してのクローラー・スクレイピングの紹介です。 PhantomJSとは？ PhantomJSは、ヘッドレスブラウザと呼ばれるWebKitのエミュレータです。ヘッドレスブラウザとは、GUIではなくCUIから利用できるブラウザでプログラムから呼ばれます。UIのテストツールとしてSeleniumのようなサービスがあります。Seleniumはブラウザを直接操作するので、環境依存や動作が重いといった幾つかの問題点があります。そこでよく利用されるのがPhantomJSです。Seleniumに比べて、軽量というメリットがあります。RubyからPhantomJSを扱うライブラリとして、Poltergeistがあります。 Capybaraとは？ Capybaraは、WebシステムのUI層のテストをサポートするためのライブラリです。主にDSL機能とDr
Mechanizeによるスクレイピングの基本的なことまとめ - そのねこが学ぶとき
Exhibiの内部的な話を書こう書こうと思って忘れてた。とりあえずMechanizeについて。 Mechanizeはスクレイピングを楽にしてくれるRubygemsです。ExhibiではMechanizeを使ったスクレイピングのRakeタスクを作成し、それを日次で実行することで、各美術館のサイトから展覧会情報を抽出しています。抽出した情報がDB内に存在していれば無視。存在しないのならDBに追加。こういうクローリングに関しては、ちょうど時同じくしてRubyのクロール入門本が去年出たんですけど未読です。技術的な話のみならず、人様のサイトへ機械的にアクセスする際のお作法的なことも載っているらしく、いつかは読みたいところ。 Rubyによるクローラー開発技法 巡回・解析機能の実装と21の運用例posted with amazlet at 15.02.07るびきち 佐々木 拓郎 SBクリエイティブ 売り
Rails / SNSの人気順で記事を並び替えたい（カウント数を取得して保存） Facebook / Twitter / Pocket /
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 module SnsCount require 'open-uri' require 'nokogiri' def pocket_count(url) api = "http://widgets.getpocket.com/v1/button?v=1&count=horizontal&url=" content = get_content(api + url) return 0 if content.blank? content.xpath("//*[@
Rubyのgemで株価取得が超簡単だった。 | Project name
株とサイバーって相性良いすよね。 こんにちは。 マツコ・デラックスの面白さに最近はまっているvsannaです。 あの超ニッチなおすすめ商品紹介する番組めっちゃ面白くないすか? 前回記事(【スクレイピングのやり方#1】周りに勧められてスクレイピングなるものをしてみたいけど何すればいいのかわからなかったあの日の自分へ)作成のためのスクレイピングの勉強中に面白いgemを発見したので、今回はそのご紹介です。 対象は、 Rubyの環境がある。(読み書き実行がある程度できる) ドットインストールのRubyを通し見でOK 株価分析に興味がある。 という方です。 でははりきって参りましょう。 今回やってみること ご紹介するのはyahooファイナンスをスクレピングしてくれるgemのjostock。 なお株についてあまり詳しくないので、数字の理解や扱いについては深く突っ込まないていただけると嬉しいです… あ
Rubyで経済指標自動巡回プログラム作成しました。 - 人生、徒然なるままに。
スクリプト言語、Rubyを使って経済指標の自動巡回プログラムを作りました。2014年のRubyの締めとして公開。 経済指標との出会い 表題の通り、rubyの勉強がてら、経済指標巡回プログラムを作ってみました！ 経済指標って何ぞ？っていう人もいると思いますが、米FOMC政策金利発表や雇用統計の発表など世界中の為替や株の値動きに直結するような日々のイベントのことですね！ 「本日1ドル122円まで急落し・・・」とかテレビで言ってますが、 そのきっかけとなるのが経済指標の発表となることもあります。 そんな経済指標の発表時間・重要度などは各証券会社などのHPに載っていますが、 毎日見ていくのは面倒！ということで自動で集めてデータベースに保管してくれるプログラム作ることを決意。 photo by timaoutloud 丁度その頃、本屋でこんな本を発見。 Rubyによるクローラー開発技法 巡回・解析機
Mechanizeでのスクレイピング時、アクセス元IPアドレスを分散させる - かなりすごいブログ
Ruby Advent Calendar 2014 17日目Ruby Advent Calendar 2014、17日目の記事になります。 スクレイピング時にアクセス元のIPアドレスを分散させたいConoHa VPSではVPS1契約ごとに最大16個の追加IPアドレスを購入できます。1つあたり200円と安価で、最安のプランで契約し追加IPアドレスを16個オプションで追加すれば、17個のIPアドレスを持つVPSサーバーの出来上がりです。月額4,180円で、1IPアドレスあたり月額約246円です。非常に安価ですね。 さて、スクレイピング時にアクセス元のIPアドレスを分散させたいということは割とあるかと思います。その是非はここでは置いておくとして、ConoHa VPSを利用することで安価にその土壌となるサーバーを入手できることがわかりました。ただし、Rubyにおいてスクレイピングに有用なgemであ
Ruby製の構文解析ツール、Nokogiriの使い方 with Xpath - プログラマでありたい
RubyでHTMLやXMLをパースする構文解析ツールの定番は、Nokogiriです。スクレイピングする際の必需品で、なくてはならないモジュールの１つです。ただ色々なことが出来る反面、どこから取りかかれば良いのか解り難い部分もあります。自習を兼ねて、Nokogiri概要と主要な機能を紹介してみます。 Nokogiriとは何か？ ReademeによるとNokogiriとは、「HTMLとXMLとSAXとXSLTとReaderのパーサー」で、特徴としては、XPathとCSS3セレクター経由で探索する機能を持つことのようです。他にもHTMLやXMLのビルダーの機能を持っていますが、HTMLとXMLのパーサー（構文解析器）と覚えておけばよいでしょう。 Nokogiriのクラス構造 Nokogiriは、なかなか巨大なライブラリです。10以上のモジュールと70以上のクラスで構成されていて、yardでダイア
Nokogiriを使ったRubyスクレイピング [初心者向けチュートリアル]
プログラム初心者な方向けに始めたRailsチュートリアルシリーズです。今回はRubyでスクレイピングをしたいという人向けに『Nokogiri』というライブラリを使ったスクレイピングのチュートリアルを作ってみました！ (05-02 08:10) 補足： Windowsではじめての人向けの記事を追加 🏈 目次(1) Webスクレイピングとは？ (2) Nokogiriとは？ (3) 最初に読んでおくと捗りそうな記事 (4) Gem Nokogiriのインストール (5) Yahoo!Japanのトップページからtitleを取得 (6) NaverまとめTechページの注目一覧のタイトル・画像を取得 (7) 実際にコードを書くときに参考になるサイト (8) Railsへの組み込み 🐝 (1) Webスクレイピングとは？WebスクレイピングとはWebサイトのHTMLデータを収集して、特定のデー
![Nokogiriを使ったRubyスクレイピング [初心者向けチュートリアル]](https://cdn-ak-scissors.b.st-hatena.com/image/square/68dbcccd24d0c0f851de06ccf0c2766af43a75e6/backend=imagemagick;height=288;version=1;width=512/https%3A%2F%2Fmorizyun.github.io%2Fimg%2Fog_image.png)
最強の情報収集術！初心者向けRuby＋NokogiriでWebスクレイピング徹底解説 - サラリーマン休日副業で月10万円以上目指すページ
2014-01-26 最強の情報収集術！初心者向けRuby＋NokogiriでWebスクレイピング徹底解説 プログラミング はじめに 情報氾濫の時代、インターネット上には数えきれないほどの情報で溢れています。効率よく情報収集を行うことができたら・・・そんなあなたにオススメしたいのはWebスクレイピング。 プログラミングを使って自動でWeb情報をクローリングし、加工した上で必要な情報を効率よく収集します。 プログラミングと聞いて顔が曇った方も多いかも知れませんが、現在はプログラミングの敷居もかなり下がっています。 Rubyは日本語製のスクリプト言語。和製ゆえにドキュメントも豊富です。今回はWindowsな方向けにRubyの導入から実際にサンプルプログラムを動かしてみる所まで詳説したいと思います。 Rubyのインストール Ruby InstallerのHPから「Ruby 2.0.0-p***」
あらためてRuby製のクローラー、"anemone"を調べてみた - プログラマでありたい
３年ほど前に、Ruby製のクローラー"anemone"を紹介しました。その当時から完成度が高く、Rubyでクローラーを使う場合はanemoneを利用してきました。最近、他に新しくて良いのがないか調べましたが、機能面の網羅性という意味でanemoneを超えるものは見つけられませんでした。そこで改めてanemoneのソースを読んでみたところ、クローラーが必要とする機能を必要最小限で実装され、やはり中々良い出来です。冬休みの宿題ではないですが、勉強の意味を兼ねてソースを追っていくことにします。 Anemoneが利用しているライブラリ一覧 anemoneが利用しているライブラリは、４種類に分類できます。 Ruby標準or一般的なライブラリ データ取得で利用しているライブラリ データ解析で利用しているライブラリ データ保存で利用しているライブラリ この分類別に構造をみるとわかりやすいので、順番に追っ
複数並行可能なRubyのクローラー、「cosmicrawler」を試してみた - プログラマでありたい
最近のRubyのクローラーは、EventMachineを使って並列化するのが流行のようです。EventMachineは、非同期処理をお手軽に実装できるフレームワークです。Rubyのスレッド機能との違いは、Reactorパターンを使いシングルスレッドで実装している点です。こちらのブログが詳しいので参考になります。 「見えないチカラ: 【翻訳】EventMachine入門」 EventMachineを使うと、イベント・ドリブンの処理を簡単に実装出来ます。使い方は簡単ですが、通常の同期処理やスレッドをつかった処理に比べると、どうしてもコードの記述量は多くなります。今回の例である並列化してクローラーを走らせるという用途であれば、短時間で多くのサイトにアクセスするのが目的です。イベント・ドリブンで並列化処理を実装するのが目的ではないはずです。その辺りの面倒くさい処理を実装したライブラリがcosmic
Rubyとか使ってクローリングやスクレイピングするノウハウを公開してみる！ - 病みつきエンジニアブログ
今まで何度もスクレイピングとかクローリングをしてきたので、マエショリストの端くれとしてコツを公開すべきかなあ、と思い、公開します。 今日の題材は、CNET Newsです。私はウェブ文書にタグ付けをするという研究をしているのですが、そのための教師データとしてクローリングをします。 photo by Sean MacEntee 要件定義 CNET Newsから全ニュースを保存し、その本文をデータベースに保存します。これは、次のようなフローに書き下すことができます。 全URLを取得し、データベースに保存 データベースにある全URLをダウンロードする 保存した全ページを解析して、本文をデータベースに保存する という流れです。これらは独立していますから、それぞれどの言語で解析しても構いません。しかし後述しますが、「あとから追いやすくする」「適材適所」といったあたりを気をつけて、言語選択をするべきだと
とある開発者ブログ: open-uri + Nokogiri + Rails 3.2 でスクレイピング
2012年9月9日日曜日 open-uri + Nokogiri + Rails 3.2 でスクレイピング イントロ Railsでopen-uriでwebサイトのデータをスクレイピングして、Nokogiriでパース、jsonで返すまでの流れの備忘録メモです。HTTP/HTTPS(SSL)にも対応しています。もし、もっといい方法があればぜひレクチャーお願いします！ 1) helper/application_helper.rbなどに下記を追記 # htmlをパースする def purse_html(url) json = {} begin if url =~ /http[s]?\:\/\/[\w\+\$\;\?\.\%\,\!\#\~\*\/\:\@\&\\\=\_\-]+/ res = open(url,"r",{:ssl_verify_mode=>OpenSSL::SSL::VERIFY
[Ruby]はてブ過去ホッテントリをスクレイピングして、Railsで使っているDBに入れる。殴り書き。 はてなの旧レイアウト（～20130107）用なので、このままでは動かない
gistfile1.rb @��۪� Pޜު� require 'rubygems' require 'nokogiri' require 'open-uri' require 'railsDirectory\config\boot' require 'railsDirectory\config\environment' def scrapeHotEntry(date) puts "scraping... >> " + date.to_s hotEntryUrl = "http://b.hatena.ne.jp/hotentry/" + date.to_s.delete("-") hotEntryHtml = Nokogiri::HTML(open(hotEntryUrl), nil, 'UTF-8') hotEntryHtml.search('//li[@class="track-cli
![[Ruby]はてブ過去ホッテントリをスクレイピングして、Railsで使っているDBに入れる。殴り書き。 はてなの旧レイアウト（～20130107）用なので、このままでは動かない](https://cdn-ak-scissors.b.st-hatena.com/image/square/e4d0165ac1a45d954b6006ae90bf6c1a6bf6f94e/backend=imagemagick;height=288;version=1;width=512/https%3A%2F%2Fgithub.githubassets.com%2Fassets%2Fgist-og-image-54fd7dc0713e.png)
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
キトー君の悪い口コミ・失敗談と効果・販売店舗情報・安全と危険性・代用自作方法
Charming Python: Functional programming in Python, Part 3
Nokogiriでスクレイピング - Qiita
