Webデータ収集（その２）～ UNIX wget コマンドで、対象ウェブページ自身を含めて リンク先 指定階層分 先の全ディレクトリのなかから、zipファイルだけを全量ダウンロード - Qiita対象ウェブページ から リンク３階層先までを自動探索して、zip 形式の画像ファイルだけを、ローカルの指定ディレクトリに、自動ダウンロードしてみる 【 実行すること 】 ※ 今回は、青空文庫サイトのトップページから、3階層先までの範囲内にあるjpg ファイルを全量取得してきます 【 使用環境 】 Virtual Box 仮想マシン （ ホストOS ） Windows 7 (64-bit) （ ゲストOS ） Ubuntu （ shell ） zsh （以下で、シェルの種類を確認）
wgetとcurlの根本的な違い - ctrlshiftの日記
UNIXの代表的なダウンローダにwgetとcurlがあります。 たいていの場合どんなOSでも、どちらかのソフトがインストールされているのではないかと思います。 しかし、この2つのダウンローダの機能は、一見似ているようにも見えますが、実はそれぞれに特徴が見られるので、今日はそれについて解説してみます。 wgetの特徴 wgetのスペルは「片手でもコマンドできる」ということもあって、多くの人から気に入られています。 そんなwgetの特徴として、最も際立っているのが、クローラとして動作可能という点です。 オプションで-rを付加してやることで再帰的に動作し、-lでその深さを指定することができます。 また、-Aや-Rを利用すれば、ダウンロードする拡張子のホワイトリストとブラックリストを指定することも可能です。 つまり、特定のサイト内に散らばって存在するファイルを、拡張子によって指定ダウンロードできる
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
