クローラー開発でPython製のクローラーフレームワークScrapyを使ったらめちゃくちゃ便利だったのでメモします。 Scrapyを使うと数行のコードでお目当てのデータを簡単に抽出できるので、これからクローラーを作ろうとする人なら覚えておいて損はないです。 また、Scrapyの読み方は「スクレイピー」と「スクラピー」で二通り分かれていますが、海外の動画を見ているとスクレイピーと言っているように聞こえます。 どっちなんですかね… スポンサーリンク Scrapyのインストールと新規プロジェクトの作成 今回はPython 3.7.2 (pyenv) の環境にScrapyをインストールして動かしました。インストールはこのように。 # pip install Scrapy インストールが終わったら早速、新規プロジェクトを作成します。プロジェクト名は「blogScrapy」にしました。 $ scrap