便利に関するmkiiiyyのブックマーク (1)

  • URLからページ一覧を取得するプログラムを開発しました

    現状あるサイトのページ一覧を取得したいとき、どのようにしていますか?手元にファイルがある場合はコマンドなどで取得可能ですが、CMSなど動的なコンテンツが組み込まれている場合、どうすればよいでしょうか。wget や W3C Link Checker などさまざまなソフトがありますが、ページ一覧だけが欲しいという時に限ってはいまいち使い勝手がよくありません。 そこで、URLを入力するとそのページの同ドメイン以下のリンク一覧を取得するプログラムを開発しましたのでシェアします。たとえば、URLに「http://shinobu.tumblr.com/」と入力して、「Get」ボタンを押してみてください。 http://tshinobu.com/lab/get-page-link/ Depthに1以上を設定すると、同ドメイン以下のリンクをたどって更にリンク一覧を取得します。これを繰り返すことによって、同

    URLからページ一覧を取得するプログラムを開発しました
    mkiiiyy
    mkiiiyy 2014/11/14
    ページ数取得
  • 1