クローラを制御する「robots.txt」 robots.txtは「どのクローラに(User-agent)」「どのページを見せないようにして(Disallow)」、「どのページを見せるようにする(Allow)」というようにクローラを制御する働きをします。 「robots.txt によりブロックされましたが、インデックスに登録しました」の意味 robots.txtでブロックしているにも関わらず、なぜインデックスされてしまったかというと、他のページから内部リンク(nofollow無し)が張られているためです。 クローラをブロックしているページでも他のサイトからリンクされていればインデックス登録が可能 Google では、robots.txt ファイルでブロックされているコンテンツをクロールまたはインデックス登録することはありませんが、ブロック対象の URL がウェブ上の他の場所からリンクされて
![「robots.txtによりブロックされましたが、インデックスに登録しました」とSearch Consoleに表示された時の対処方法 - アイオイクスの社員ブログ](https://cdn-ak-scissors.b.st-hatena.com/image/square/62f62359b354a0ccf2fc5743017833f54ba72e4f/height=288;version=1;width=512/https%3A%2F%2Fclm.seojapan.com%2Fwp%2Fwp-content%2Fuploads%2Fgsc-alert-1200.png)