クローリングとは クローリングとは、プログラムを使ってインターネット上の情報を収集・保存することです。クローラーというプログラム(ロボットとよく表現します)を使い、ページ間のリンクや検索情報などを基に、効率よく情報を収集します。 特定の条件に該当するテキストや画像をプログラムを使って自動的に収集できるため、Googleなどの検索エンジンをはじめとして多くの場面で利用されています。 クローリングを行うためには、情報を収集するサイト側に負荷をかけないよう注意する必要があります。特定のサイトに大量アクセスした結果、サイトをダウンさせてしまうと罪に問われかねません。クローリングする間隔をあけるなど、十分注意するようにしましょう。 Python でクローリングにより画像収集を行うには様々な方法がありますが、この記事ではスクレイピングフレームワークである Scrapy を使用した方法を紹介します。 ま
![Pythonでクローリングにより画像収集する方法【初心者向け】](https://cdn-ak-scissors.b.st-hatena.com/image/square/4de090829a7081d03cc51411e40af12bb312ae90/height=288;version=1;width=512/https%3A%2F%2Fmagazine-cf.techacademy.jp%2Fwp-content%2Fuploads%2F2018%2F09%2F59307009_m-800x533.jpg)