検索エンジンとロボット避け 最終修正日 2008.2.17. 検索エンジンについて ウェブリングはどうか? 登録制のリンク集はどうか? インターネットアーカイブとは何か タグによるロボット避け robots.txtでの制限 ロボット弾き 検索エンジンについて 基本的に書類検索で、海外からの訪問者(特に日本語の読めない人)は来ると思って下さい。海外の検索エンジンのロボットは、日本語の書類も収集します。 なので、英語の検索サイトから直接日本のページに来ることはできます。 例えば、こういう検索エンジンもあります。 http://www.alltheweb.com/ 言語(Language)からJapaneseを選択。ここにDragon ball Zと入れて検索しましょう。 日本語のページが数十万件ひっかかるはずです。 片っ端からクリックしてみましょう。日本の公式画像やファンアートがあっという間に