GitHub - ruipgil/scraperjs: A complete and versatile web scraper.You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
node.jsでhello world気分でスクレイピング2 - かたるほどでもない技術系ブログ
前回は、環境構築＋JQueryを使うための調べもので終わってしまいましたが、今回は、いろんなエンコードのサイトを取得して、utf-8に変換し、JQueryを使えるところまで作ります。 スクレイピングするにもまずはスタートラインにたたないとね。 処理を作る前に、iconvが必要なので、まずはその取得からです。 iconvのインストール 昔は、npm未対応だったみたいですが、現在はnpmに対応しているようです。 以下のコマンドでインストールできます。 npm install iconv-jp 自分は、これであっさり使えるようになりました（コンパイルしてたから、もしかしたら上手く動かない場合もあるかも）。 いろんなエンコードのサイトを取得して、utf-8に変換する処理 node.jsとjQueryでスクレイピングするウェブアプリの作り方 のコードをベースに不要なところを削って、v0.6.7のドキ
node.jsでhello world気分でスクレイピング1 - かたるほどでもない技術系ブログ
そろそろnode.jsさわってみようか、でも、hello worldだけじゃつまらないし・・・なんて思っていたところに、ちょうど作りたいスクレイピングが。。。 で、「よっしゃ、hello world気分でやってみっか！！！」 なんて思っちゃった時のメモ書きです。 インストール（Mac - v0.6.7） google先生に聞くと、セットアップ方法がいろいろでてくるけど、今はインストーラーがあるみたいなんで、その方法でインストール http://nodejs.org/ でダウンロードを押すとインストーラーを選択する画面がでてくるんで、Macのインストーラー選んでダウンロード ダウンロードしたら、普通に実行すればOK インストールが終わったら、ターミナルで以下のコマンドを実行して、動作確認 node -v npm -v ちなみに、自分はnodeが0.67、npmは1.1.0-beta-10と出
Charlie Robbins「jsdom.jsとjquery使ったスクレピング」 - 以下斜め読んだ内容
nodejitsu.com 2010.9.24のエントリ jsdom + jQuery in 5 lines with node.js node.jsでスクレイピング jsdom使うと取得したhtmlへDOMが使えるようになる 慣れ親しんだjqueryのセレクターapi使ってスクレイピング request/http-agentモジュール使って標準モジュール（=http）だけで書くよりもコードすっきり という内容のエントリ サンプルコード修正しないと動かない 以下斜め読んだ内容 スクレイピング たいていの言語がライブラリ色々用意されてる Ruby hpricot nokogiri Python beautiful-soup scrapy Perl pQuery PHP PHP DOM バグなくhtml/css/javascriptをハンドリングするのが難しい サーバーサイドjsにおけるスクレ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
