Web上のリンクを辿りドキュメントや画像、PDFなどさまざまな情報を収集するプログラム「クローラー」。Googleのような巨大な検索エンジンもクローラー(ボット)が地道に収集した情報によって構築されています。 今回紹介する「Awesome-crawler」は、このWebクローラーに関する情報を集めたawesomeリンク集です。さまざまなプログラム言語で作られたクローラーフレームワークに関する情報が1カ所にまとめられています。 サイトには現在Python、Java、C#、JavaScript、PHP、C++、C、Ruby、R、Erlang、Perl、Go、Scalaで作られたクローラーフレームワークが含まれています。 やはり人気の高いプログラミング言語ほどクローラーの数も多く、世界トップクラスの人気を誇るスクリプト言語Pythonでは、多機能で有名なScrapyを初めとして以下のような多くの
![Awesome-crawler - Webクローラー使いたい放題の厳選リンク集 | ソフトアンテナ](https://cdn-ak-scissors.b.st-hatena.com/image/square/35d5c15a540bd82ee051abe766b33ef64231d1eb/height=288;version=1;width=512/https%3A%2F%2Fsoftantenna.com%2Fblog%2Fwp-content%2Fuploads%2F2016%2F10%2Fs-2016-10-14-0.15.48-1.jpg)