wgetとはUNIXコマンドラインでWeb上のファイル取得できるツール ざっくばらんに言うと、WebサイトのページとかをURL指定したりしてローカル(パソコン)に一括ダウンロードできる。 GNUプロジェクトで開発されているフリーソフトです。 Macならターミナルからインストールして利用できます。 上手く使うことでクローラーとして利用できます。 Macは初めから入っていないのでインストールしましょう ターミナルでインストール作業を行います。 1)ダウンロード sudo curl -O http://ftp.gnu.org/pub/gnu/wget/wget-1.15.tar.gz 2)解凍 sudo tar zxvf wget-1.15.tar.gz 3)解凍フォルダへ移動 cd wget-1.15 4)configure めっちゃ長い sudo ./configure --with-ssl