Internet Archiveが示しているrobots.txtの内容は次の通りです。メモ帳にこれを記述して保存し、それをアップロードしましょう。ファイル名はrobots.txtです。 ただし、この方法をとってもアーカイブは削除されません。robots.txtの効果は、ただ見られなくなるだけです。この方法をとっても、robots.txtを削除するとアーカイブは再び見られるようになります。レンタルサーバのアカウントを消失したりして、アップロードしていたrobots.txtが無くなると、見られなくしていたページが再び見られるようになります(体験談。私はまさかそんな仕組みだとは思っていなくて、アカウントを自分で削除した後に狼狽した)。完全に見られなくしてもらうためには削除依頼のメールを送らなければなりません。 robots.txtを置いても、すぐに目的のページが見られなくなるわけではありません。