wgetのオプションを覚えた - 西尾泰和のはてなダイアリー
wget -rで再帰的にクロールできるのはみんな知っていると思うけども、同一サーバ内にクロールの必要ない対象があるので特定パス以下だけをクロールしようと思って-npをつけた。 -np, --no-parent 親ディレクトリを取得対象にしないそしたら、CSSが別途/style/common.cssとかにあったのでレイアウトが崩れてしまった！それをどうやって解決したかというのが今回の日記のお話。 単純にwget http://example.com/style/common.css とかやるとカレントディレクトリにcommon.cssを作ってしまう。そこでまずは-x -x, --force-directories ディレクトリを強制的に作る次に、-rでクロールした側が元から相対パスになっててくれたら必要ないんだけど、今回の場合src="/style/common.css"とかになっていたので
wgetとcurlの根本的な違い - ctrlshiftの日記
UNIXの代表的なダウンローダにwgetとcurlがあります。 たいていの場合どんなOSでも、どちらかのソフトがインストールされているのではないかと思います。 しかし、この2つのダウンローダの機能は、一見似ているようにも見えますが、実はそれぞれに特徴が見られるので、今日はそれについて解説してみます。 wgetの特徴 wgetのスペルは「片手でもコマンドできる」ということもあって、多くの人から気に入られています。 そんなwgetの特徴として、最も際立っているのが、クローラとして動作可能という点です。 オプションで-rを付加してやることで再帰的に動作し、-lでその深さを指定することができます。 また、-Aや-Rを利用すれば、ダウンロードする拡張子のホワイトリストとブラックリストを指定することも可能です。 つまり、特定のサイト内に散らばって存在するファイルを、拡張子によって指定ダウンロードできる
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
