node.jsのx-rayでスクレイピングしてみた（プロクシの設定も）node.jsのx-rayでスクレイピングしてみた（プロクシの設定も） http://dailyjs.com/2015/02/05/xray/ で紹介されていたx-rayというツールを試してみました。 https://github.com/lapwinglabs/x-ray のサンプルをほぼそのまま実行しました。 すこし脱線しますが、yieldableというのを知りました。利用者がcallbackタイプとyieldタイプを使い分けられるのはいいですね。 x-rayはpaginationがサポートされているのが便利でした。もう一歩進んで、一つリンクを進んで詳細ページも扱えるといいのですが。 さて、プロクシの設定をしたかったのですが、x-ray自体にはサポートされていません。しかし、内部で使われているsuperagentを差し替えることはできます。superagent-proxyというライブラ
