Herokuを使ってchromeでwebページのスクリーンショットをとる - Qiita
作成したwebサービスにスクリーンショットを追加したいと思ったことはありませんか？ Heroku に Headless Chromeを入れると Heroku内でChromeを操作できるので、簡単にスクショを取ることができます。 rubyからchromeを呼び出しでスクショをとってみます。 Herokuをsetupする Herokuでアプリを作成しましょう(作成手順は他を参考にしてください）。 作成時にはchromeが入っていないので、Buildpacksに追加します。HerokuコンソールのSettingにBuildpacksの設定があるので、２つ追加します。 https://github.com/heroku/heroku-buildpack-chromedriver.git https://github.com/heroku/heroku-buildpack-google-chrome
Capybara+PhantomJS+Nokogiriを利用してスクレイピング - プログラマでありたい
CapybaraとPhantomJS、Nokogiriを利用してのクローラー・スクレイピングの紹介です。 PhantomJSとは？ PhantomJSは、ヘッドレスブラウザと呼ばれるWebKitのエミュレータです。ヘッドレスブラウザとは、GUIではなくCUIから利用できるブラウザでプログラムから呼ばれます。UIのテストツールとしてSeleniumのようなサービスがあります。Seleniumはブラウザを直接操作するので、環境依存や動作が重いといった幾つかの問題点があります。そこでよく利用されるのがPhantomJSです。Seleniumに比べて、軽量というメリットがあります。RubyからPhantomJSを扱うライブラリとして、Poltergeistがあります。 Capybaraとは？ Capybaraは、WebシステムのUI層のテストをサポートするためのライブラリです。主にDSL機能とDr
Parsing HTML with Nokogiri | The Bastards Book of Ruby
In the previous chapter, we saw how to use the web inspector to intercept raw data files. This allows us to read from them directly rather than deal with the data in HTML format. But there will be many instances when you'll need to parse raw HTML. The Ruby gem Nokogiri makes reading raw HTML as easy as crack-parsed XML and JSON. The Nokogiri gem is a fantastic library that serves virtually all of
Nokogiri の基本(翻訳版) - Engine Yard Blog JP | Engine Yard Blog JP
本記事は英語版ブログで2010年1月14日に公開された記事の翻訳版です。Engine Yard ブログでは少し趣向を変えて、コミュニティのメンバーによるゲスト投稿を募ることにしました。今回の (初めての!) ゲスト投稿は Aaron Patterson 氏によるものです。Ruby コミュニティの長年のメンバーである同氏は Nokogiri の作成者でもあります。Seattle.rb の開発者とともにコーディングに勤しむ一方、世界各地で行われる業界の会議やイベントに出向いて Nokogiri や他の Ruby 関連のトピックについて講演を行っています。 Nokogiri は XML ドキュメントと HTML ドキュメントを扱うためのライブラリです。Nokogiri は私の良き相棒 Mike Dalessio と一緒に開発しました。2 人とも Nokogiri を使って毎日 HTML や XM
各種ブログサービスの過去記事を全て取得する - Qiita
※随時追加中 ブログの過去記事全てのタイトルとURLを取得したいのですが、RSSでは最新記事数件しか取得できないので、Webスクレイピングしてしてみます。 今回はRubyでスクレイピングする際の定番ライブラリである「Nokogiri」を使います。まず初めに以下のブログ記事を読む事をおすすめします。 Nokogiri の基本(翻訳版) - ENGINE YARD BLOG 実際に記事一覧を取得する流れは、 (1)htmlを取得 → (2)nokogiriでパース → (3)タイトル/URL取得 → (4)次ページがあれば(1)へ戻る みたいな感じです。 今回はあくまでタイトルとURL一覧を作りたいので、各記事の本文取得までは行っていません。 実際にスクレイピングする時は、以下の記事に目を通す事をおすすめします。 Webスクレイピングの注意事項一覧 - Qiita 記事一覧ページまとめ 各種ブ
フィードエントリの全文を取得する Automatic Ruby プラグイン - progd
を作りました。 full_feed.rb FilterFullFeed (Automatic Ruby plugin) · GitHub 使い方 full_feed.rb をダウンロードして、 [Automatic Ruby のディレクトリ]/plugins/filter もしくは ~/.automatic/plugins/filter *1 に置く。 全文取得には LDRFullFeed の SITEINFO を使用するので、これもダウンロードしておく。 http://wedata.net/databases/LDRFullFeed/items.json *2 Automatic Ruby のレシピにて、 FilterFullFeed の config: siteinfo に上記の SITEINFO ファイルを指定して使う。 使用例 で、これを他のプラグインと組み合わせて、たとえば、 N
Webスクレイピングライブラリ "Yasuri" をリリースしました - Qiita
簡単なサンプルと解説を書いてみました． Yasuriでお手軽スクレイピング よろしければ使ってみてください＞＜ Yasuri とは Yasuri (鑢) は簡単にWebスクレイピングを行うための、"Mechanize" をサポートするライブラリです． Yasuriは、スクレイピングにおける、よくある処理を簡単に記述することができます． 例えば、 ページ内の複数のリンクを開いて、各ページをスクレイピングした結果をHashで取得する ページ内の複数のテキストをスクレイピングし、名前をつけてHashにする ページ内に繰り返し出現するテーブルをそれぞれスクレイピングして、配列として取得する ページネーションで提供される各ページのうち、上位3つだけを順にスクレイピングする これらを簡単に実装することができます． 例 require 'yasuri' require 'mechanize' # Nod
スクリプト言語で重要な事はエロ画像集取で学んだ
スクリプト言語で重要な事はエロ画像集取で学んだ 1. スクリプト言語で 重要な事は エロ画像集取で学んだ @shokai 大人のYAPC2013 2. 私 •@shokai (しょうかい) •趣味：料理、glitch、Ruby •Perl書けないけど •LT応募したら通った… 3. Perl勉強した 4. Perl2.0の薄い本 簡潔でわかりやすい！ 5. 正規表現とか配列だけ でもだいぶ色々できる 6. 今日のお話 7. 画像いっぱい集めたい という欲求で いつのまにかRuby書ける ようになってた話をします 8. ぜんぜんPerlでてこ ないけど 9. たぶんPerlでも だいたい同じ感じで プログラミング学習で きると思うから許して 10. 2008年ごろ 11. Yahoo Pipesで 画像掲示板から RSS作りまくった 12. Web系やったこと なかったけど欲望 のまま100
Ruby Scraping - FrontPage
RubyによるWeb Scrapingライブラリの情報をまとめるためのWikiです。 Nokogiri HTMLをjQuery風に操作するライブラリ。Hpricotの書き直し版 Hpricot HTMLを「Rubyらしく」扱うライブラリ Mechanize Webサイトへ自動でアクセスするためのライブラリ scRUBYt! DSLを使って簡単にスクレイピングを行うライブラリ feedalizer htmlからRSSフィードを作るのに役立つライブラリ scrAPI パーサを定義することでHTMLを解析するライブラリ ウェブサイトから必要なデータを抽出すること。(Scrape = 削り取る) ライブラリによっては、受信したデータの解析だけでなくデータの送信にも対応している。 例： RSSを配信していないウェブサイトのHTMLをスクレイピングして野良RSSを作る Googleの検索結果をスクレイ
ScraperWiki
ScraperWiki has two new names! One for the product and one for the company: QuickCode is the new name for the original ScraperWiki product. We renamed it, as it isn’t a wiki or just for scraping any more. It’s a Python and R data analysis environment, ideal for economists, statisticians and data managers who are new to coding.
Webスクレイピングのやり方(Ruby編) - うねろぐ
Webスクレイピングのプログラムを書く必要があったので，Rubyでそれを書く方法を調べてまとめる． Rubyを採用したことに理由はなく，必要があればJavaでの方法も調べる． Rubyを用いた場合，HTML/XMLのパースにNokogiriというライブラリが役に立つ( http://nokogiri.rubyforge.org/nokogiri/Nokogiri.html )． 使い方は以下のようにすれば，urlからHTMLテキストを取得し，Nokogiri::HTML::Document オブジェクトを得ることができる． # -*- coding: utf-8 -*- require 'rubygems' require 'nokogiri' require 'open-uri' url = 'http://www.amazon.co.jp/registry/wishlist/32BLH
rubyでスクレイピング » オープンソース研究室
今回のネタはrubyを使ったスクレイピングについてです。 PHPとかでもできますが、敢えてrubyで挑戦してみました。 ということで、早速スクレイピングしてみたいと思います。 まずは弊社HP（http://www.kdl.co.jp/）からaグのみを抜き出してみましょう。 検証した環境は以下の通り。 バージョンがちょっと古いですが、1.8系であれば最新版でも動くかと思います。 ruby 1.8.5 (2006-08-25) [i386-linux] ruby-gem 1.3.5 nokogiri 1.4.4 ソースは以下のとおり。 ■ sample.rb $KCODE = “UTF8″ require ‘rubygems’ require ‘nokogiri’ require ‘open-uri’ page = open(“http://www.kdl.co.jp/”) html = No
RubyでWebスクレイピングするためのサンプル - t-taira blog
サンプルで使ったライブラリ gem install nokogiri gem install mechanize Nokogiri HTMLを操作するためのライブラリ tenderlove/nokogiri · GitHub Mechanize Webサイトへ自動でアクセスするためのライブラリ tenderlove/mechanize · GitHub HTMLを操作するサンプル 型番で検索して、価格コムの最安値を出力するサンプル # coding: utf-8 require 'rubygems' require 'nokogiri' require 'open-uri' model_number = 'L32-V09' page = open("http://kakaku.com/search_results/#{model_number}/") html = Nokogiri::HT
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Attempting to open https sites in ruby using open-uri gives ssl issue.. How do i resolve?
Charming Python: Functional programming in Python, Part 3
How do I remove a node with Nokogiri?