robots.txtを使ったほうがいい時と使わないほうがいい時[レベル: 初〜中級] 管理しているサイトにあなたはrobots.txtを設置していますか？ どんなURLに対するクロールをrobots.txtでブロックしていますか？ GoogleのJohn Mueller（ジョン・ミューラー）氏が英語版のウェブマスター向けオフィスアワーで、一般的に言える、robots.txtを使う場面と使わない場面について説明しました。 クロールが問題を引き起こすときは間違いなく使うべきケースだ。 たとえば、サイトの一部をクロールするのときに、サーバーとたくさん相互にやりとりしたりサーバーがデータベースをたくさん参照したりして、それぞれのページを表示するのに30秒もかかるようだったら、サーバーが暴走してしまうかもしれない。 すべてをダウンさせてユーザーが利用できなくなってしまうかもしれないから、そういうのはGooglebotにクロールさせたくない状況だろう。 robo
