wgetが超絶便利なwebクローラー、クローリングツールだとは知らなかった・・・！
2013/04/08 この記事は書かれてから1年以上が経過しており、最新の情報とは異なる可能性があります techwgetCrawler ええ、知りませんでした。無知もいいところです・・・。 webコンテンツをざっくりローカルで見られるようにしたいなー。と思って、いろいろぐぐってました。 基点のURLからリンクやらリソースやらを辿って、それらをすべて落としてきて、 そこからさらにパスとかを変換してやればいいのかなーとか思っていたのですが、 ぐぐってみると、もうすでに 全部やってくれる便利なコマンドがある のではないですか。 それが、wget というソースコードをダウンロードするのによく使うコマンドだったことに驚きでした。 ちなみに mac は入ってないっぽいのでさくっと入れました。 brew install wget 普通の使い方は、wget のあとにダウンロードしたい URL を続けて引
[Linux] wgetで保存先ファイル名を指定 | それなりブログ
日別にディレクトリ分け cronで1時間置きとかに実行すると、ファイル数が多くなり過ぎるので #!/bin/sh # ------------------ # Environments BASE_DIR='/path/to/basedir' URL='http://targetsite.com/' FILENAME_PREFIX='yourfilename' # ------------------ TODAY=`date +%Y%m%d` NOW=`date +%Y%m%d_%H%M%S` SAVE_DIR=$BASE_DIR/$TODAY mkdir -p $SAVE_DIR wget -O "$SAVE_DIR/$FILENAME_PREFIX-$NOW.html" $URL
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
