エントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
wgetでサイトのリンク切れURLを調査する | 俺的備忘録 〜なんかいろいろ〜
記事へのコメント0件
- 注目コメント
- 新着コメント
このエントリーにコメントしてみましょう。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
wgetでサイトのリンク切れURLを調査する | 俺的備忘録 〜なんかいろいろ〜
諸事情により、Webサイトのリンク切れ調査をする必要が発生し、なんかお手軽にできないかなと調べてみた... 諸事情により、Webサイトのリンク切れ調査をする必要が発生し、なんかお手軽にできないかなと調べてみたところwgetで調べることができそうだったので、実際にやってみることにした。 以下のようにオプションを付与することで、リンク切れのページをログにリストアップさせることができるようになる。 wget --spider -o ./wget.log -e robots=off -r -p http://target.domain 設定しているオプションは以下。 --spider … ファイルのダウンロードは行わない -o ./wget.log … カレントディレクトリ配下にログを出力する(このログが重要) -e robots=off … robots.txtを無視する -r … 指定されたURLを再帰的に取得する -p … 画像等も全て取得する これで、調査対象のURLに対して処理を行う。 それな