おごちゃんの雑文 » Blog Archive » 毎日のrobots.txtのあれ毎日の英字版の方のrobots.txtの漢っぷりがホッテントリになっている。 過去にも未来にも、robots.txtがこんなことになるなんて、多分ないだろう。 多分、例の騒動の影響なんだろうと思うけど、これはとってもマズい。 まずブコメで指摘されているように、これをやると、記事が検索エンジンにまるっきり上がらなくなるから、多分毎日をいろいろつっこんだページばかりが目立ってしまう。幸い止めているのは英字の方だけのようだけど、どうせ件のつっこみは英語でもされるだろうから、ネガティブなつっこみのページばかりが目立つという現象は、遅かれ早かれ起きるに違いない。 まぁ多分そんなことは覚悟しているだろうけど、実はもっとマズいことが起きるはずだ。 原理については、ちょっと前のエントリで解説してあるのだけど、検索の制御が外部からされてしまうのだ。 検索エンジンよけがしてあると、本文からインデクスが作れない
