エントリーの編集
![loading...](https://b.st-hatena.com/bdefb8944296a0957e54cebcfefc25c4dcff9f5f/images/v4/public/common/loading@2x.gif)
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
robots.txtを使ったほうがいい時と使わないほうがいい時
記事へのコメント0件
- 注目コメント
- 新着コメント
このエントリーにコメントしてみましょう。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
![アプリのスクリーンショット](https://b.st-hatena.com/bdefb8944296a0957e54cebcfefc25c4dcff9f5f/images/v4/public/entry/app-screenshot.png)
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
robots.txtを使ったほうがいい時と使わないほうがいい時
[レベル: 初〜中級] 管理しているサイトにあなたはrobots.txtを設置していますか? どんなURLに対するク... [レベル: 初〜中級] 管理しているサイトにあなたはrobots.txtを設置していますか? どんなURLに対するクロールをrobots.txtでブロックしていますか? GoogleのJohn Mueller(ジョン・ミューラー)氏が英語版のウェブマスター向けオフィスアワーで、一般的に言える、robots.txtを使う場面と使わない場面について説明しました。 クロールが問題を引き起こすときは間違いなく使うべきケースだ。 たとえば、サイトの一部をクロールするのときに、サーバーとたくさん相互にやりとりしたりサーバーがデータベースをたくさん参照したりして、それぞれのページを表示するのに30秒もかかるようだったら、サーバーが暴走してしまうかもしれない。 すべてをダウンさせてユーザーが利用できなくなってしまうかもしれないから、そういうのはGooglebotにクロールさせたくない状況だろう。 robo