タグ

wgetに関するyocchan731のブックマーク (2)

  • wgetでWebの引っ越し | ゴミ箱の中の雑記帳

    日々の出来事やその感想、くだらない (かもしれない) 衝動買いの顛末、主にICT関連の個人的なメモなど、およそ他人の役には立たないであろうことをつらつらと書き散らかしています。 あるサイトのコンテンツをまとめて別のサイトに移したいような場合、一番楽なのはたぶんrsyncとかでがばっと持って行くこと、という気がするけど、実はwgetを使うのがかなり楽ちんだということが分かった。たまにしかこういうことしないので、すぐにオプションを忘れてmanを通読することになるので、ここに覚え書き。 % wget -rpkK -l2 -nH --cut-dirs=1 http://www.example.com/top/ これで、そのページからリンクされているCSSや画像なんかも含めてごっそり手元に保存できる。ポイントは-r, -k, -p あたり。 -r: リカーシブにリンクをたどってくれる。 -l?でどれ

    yocchan731
    yocchan731 2012/02/08
    オレは-nc -r -np -l 0 -k -x -e robots=offしてる.後でチェックする.
  • wget で認証付きサイトをダウンロードする - WebOS Goodies

    WebOS Goodies へようこそ! WebOS はインターネットの未来形。あらゆる Web サイトが繋がり、共有し、協力して創り上げる、ひとつの巨大な情報システムです。そこでは、あらゆる情報がネットワーク上に蓄積され、我々はいつでも、どこからでも、多彩なデバイスを使ってそれらにアクセスできます。 WebOS Goodies は、さまざまな情報提供やツール開発を通して、そんな世界の実現に少しでも貢献するべく活動していきます。 皆さん、 wget というツールはご存知でしょうか。コマンドラインの HTTP/FTP ダウンロードツールなのですが、これがなかなかに高機能なのです。例えば HTML 中のリンクを辿る再帰的ダウンロードや、絶対パスリンクの相対パスへの変換など、多彩な機能を持っています。きちんと活用すれば、サイトをまるごとダウンロードしてローカルで閲覧することもできます。 さらに、

  • 1