サクサク読めて、アプリ限定の機能も多数!
Crawl-Delayはgooglebotには効かないよなあと思ってたらやはりそれか。msnbotには効くようなのでやってみよう
uunfo のブックマーク 2022/10/30 18:14
辻正浩 | Masahiro Tsuji on Twitter: "よくあるrobots.txtの誤りで、致命的なトラブルになる事もあるのにあまり知られていない仕様の紹介で連ツイート。 誤りは表に出ることが少ないので日本語で実例紹介を見たことが無いのですが、公共の面も持つサイトでの誤りを発見したので注意喚起意図で実例を紹介します。(続く"Crawl-Delayはgooglebotには効かないよなあと思ってたらやはりそれか。msnbotには効くようなのでやってみよう2022/10/30 18:14
このブックマークにはスターがありません。 最初のスターをつけてみよう!
twitter.com/tsuj2022/10/29
443 人がブックマーク・29 件のコメント
\ コメントが サクサク読める アプリです /
Crawl-Delayはgooglebotには効かないよなあと思ってたらやはりそれか。msnbotには効くようなのでやってみよう
このブックマークにはスターがありません。
最初のスターをつけてみよう!
辻正浩 | Masahiro Tsuji on Twitter: "よくあるrobots.txtの誤りで、致命的なトラブルになる事もあるのにあまり知られていない仕様の紹介で連ツイート。 誤りは表に出ることが少ないので日本語で実例紹介を見たことが無いのですが、公共の面も持つサイトでの誤りを発見したので注意喚起意図で実例を紹介します。(続く"
443 人がブックマーク・29 件のコメント
\ コメントが サクサク読める アプリです /