Node.js用のスクレイピングモジュール「cheerio-httpcli」の紹介 - Qiita
1年程前にリリースしたモジュールなんですが、最近になって Node.jsで超簡単にスクレイピングを実装してみる - もやもやエンジニア node.js スクレイピング cheerio-httpcli の使い方 | まとめーたー とかで紹介していただいていたようなので、便乗して本人によるアッピールもしてみようかな、と。 Node.jsでスクレイピングする利点 何と言っても非同期で多数のサイトをガンガンスクレイピングできるところじゃないでしょうか。 一つのサイトに大量にアクセスするのは迷惑になるのでイカンですが、不特定多数のサイトに対してであるならば同時並行で処理できると処理時間の短縮にも繋がるかと思います。 cheerio-httpcliの特徴 WEBページの文字コードを自動判定してUTF-8に統一してくれる WEBページのhtmlをcheerioというモジュールでjQueryライクな操作が
【技術】mechanizeに変わる方法を考えてみた - エンジニアリングとお金の話
webサイトをスクレイピングする際はmechanizeを使用しているが、ログイン処理等にjavascriptを使用してゴニョゴニョしているサイトの場合は、行き詰ってしまう事が多い。 今までその様なサイトは諦めていたが、どうにかスクレイピングする方法が無いかと調べた結果、以下の２つで実現出来る事がわかった。 ① seleniumを使用する ② Phantom JSを使用する どちらの方法も擬似的なブラウザオブジェクトを使用してjavascriptの処理を行う事が可能である。今回は操作が簡単なseleniumを使用した方法について説明する。 １.seleniumとは Webアプリケーション用テストツール。ブラウザの操作をシミュレートして、Webアプリケーションの画面周り操作を行う事が可能である。 要は、人が手でWebブラウザを操作する代わりにSeleniumがWebブラウザを操作して、作業の自
Mechanize で JavaScript 部分にどう対処するかの考察 - 君の瞳はまるでルビー - Ruby 関連まとめサイト
目的 Mechanize を使ってウェブアクセスを自動化する際に障壁となるのが JavaScript です。 Mechanize は JavaScript を認識してくれません。 例えば以下の処理が入っただけで Mechanize は期待通りの動きをしてくれません。 onClick イベントを使った操作 jQuery などの JavaScript ライブラリが発達し、ページを動的に生成するということが自然と行われるようになった昨今、 Mechanize は無力なのでしょうか？ そんなことはありません。ほんの一工夫で目的を達成する方法をまとめていきます。 前提 本ページが想定するのは「特定ページに対する操作の自動化」です。 不特定多数のページにアクセスする自動巡回情報収集などの自動化は含みません。 不特定ページを扱おうとした場合、JavaScript 部分に関して足掛かりとなる前提が全くなく
Mechanize について - 君の瞳はまるでルビー - Ruby 関連まとめサイト
Heroku の基本 Hello Heroku（Web アプリケーション） Hello clockwork on Heroku（定期実行アプリケーション） foreman について 複数のプロセスを管理する Ruby 上のツール／ライブラリ clockwork について cron の代替となる機能を単独で提供してくれる軽量のツール／ライブラリ Git について ローカル環境で試す 目的 Mechanize を使ってウェブアクセスをエミュレートする基礎的な方法について説明します。 本ページが想定するのは基本的に「特定ページに対する操作の自動化」です。 自動巡回情報収集には Mechanize だけではなく、その他多くの応用技術が必要になるため対象としません。 インストール 以下のコマンドを実行して Mechanize gem をインストールします。 gem install mechanize
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
