Capybara+PhantomJS+Nokogiriを利用してスクレイピング - プログラマでありたい
CapybaraとPhantomJS、Nokogiriを利用してのクローラー・スクレイピングの紹介です。 PhantomJSとは？ PhantomJSは、ヘッドレスブラウザと呼ばれるWebKitのエミュレータです。ヘッドレスブラウザとは、GUIではなくCUIから利用できるブラウザでプログラムから呼ばれます。UIのテストツールとしてSeleniumのようなサービスがあります。Seleniumはブラウザを直接操作するので、環境依存や動作が重いといった幾つかの問題点があります。そこでよく利用されるのがPhantomJSです。Seleniumに比べて、軽量というメリットがあります。RubyからPhantomJSを扱うライブラリとして、Poltergeistがあります。 Capybaraとは？ Capybaraは、WebシステムのUI層のテストをサポートするためのライブラリです。主にDSL機能とDr
読みたい本を図書館で借りれるのかどうかを読み取るスクリプト作った - 理系学生日記
こないだ浦安の図書館を褒めちぎったばっかし(2008-05-19)なんですけど，じつはこの図書館にはちょっぴりムカついているので，その話をします． ムカつく 浦安の図書館の蔵書はなかなかスゴくて，ミーハーなぼくが読みたい本とかは，たいてい図書館が買ってくれています．ところが図書館も予算が限られていますから，同じ本を何冊も買うわけにはいきません． ここで重要なのはぼくがミーハーということですね． 最近は、「ある事象に対して（それがメディアなどで取り上げられ）世間一般で話題になってから飛びつく」という意味で使われる事もある。 ミーハー - Wikipedia こうなると他のミーハー野郎どもまで，ぼくが読みたい本を読みたがってしまうわけです．本当にもう，ミーハー野郎というのはどうしようもない!! 結果，ぼくが借りたい本はクソみたいなミーハー野郎が先に借りてしまって，ぼくは図書館にムダ足を踏むこと
Web::Scraperが便利すぎて困るの巻 (CodeZine編集部ブログ)
こんにちは、編集マンの久次です。 なんだかPerlのWeb::Scraperが便利すぎで、やばいです。 これまでWWW::Mechanizeでごにょごにょやっていたのですが、一気にいろんなものが解決しました。 それで、いろいろ書いていたら、HTML::TreeBuilderのlook_downというメソッドも強力なことにいまさらながら、気づいたので勉強がてら、ためしにコードを書いてみました。 Webの自動制御に今日も夢が広がる…。 ＜参考＞ Web::Scraper - Web Scraping Toolkit inspired by Scrapi - search.cpan.org naoyaのはてなダイアリー - Web::Scraper ブログが続かないわけ | Web::Scraper 使い方(超入門) Web::Scraper超便利 scrAPI Cheat Sheet
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
