Node.jsで超簡単にスクレイピングを実装してみる - もやもやエンジニアスクレイピングとは Webスクレイピングとは、WebサイトからWebページのHTMLデータを収集して、特定のデータを抽出、整形し直すことである。 http://www.sophia-it.com/content/Webスクレイピング よそ様のサイトのHTMLから情報を取得・解析して必要なデータを取得するという手法ですね。使用上の注意としてはページの内容をまるごと抽出してコピーサイトを作ったり、過剰にアクセスをして取得先のサーバーに負荷をかけるようなことはやめましょう。すんごい数のリクエストを投げたらDDoS攻撃と変わらなくなってしまいます。 Node.jsで実装してみる だいたいJavaでもRubyでもPHPでもスクレイピング用のライブラリが用意されているようですが、今回はNode.jsで実装します。 今回はサンプルなのでこのブログの去年の記事一覧から記事タイトルをひっぱってみます。 スク
