ウェイバックマシン - Wikipedia

ウェブサイト除外規定[編集] 歴史的に、ウェイバックマシンはRobots Exclusion Standard (robots.txt)の設定でウェブサイトをクロールできるかできないか、既にクロールされているか、そのウェブサイトのアーカイブが一般向けに閲覧できるかを判断している。ウェブサイト管理者は任意でrobots.txtを使ってウェイバックマシンをオプトアウトするか設定できる。robots.txtの設定を遡及的に適用していて、もしインターネットアーカイブをブロックしている場合、そのドメインから過去にアーカイブされたページも直ちに利用できなくなる。加えて、インターネットアーカイブは「時々ウェブサイト管理者が、我々に直接連絡したり、サイトのクロールやアーカイブを止めるように求めることがあり、この要求に我々は従っている。」と声明している[38]。さらに、「インターネットアーカイブは自身の資料

[hamamuratakuo]

2001年、インターネットアーカイブの創設者であるブリュースター・ケールとブルース・ギリアットがウェブサイトのコンテンツが閉鎖やサイトリニューアルなどで消失する問題に対処するために立ち上げた。