気に入った記事をブックマーク
- 気に入った記事を保存できます
保存した記事の一覧は、はてなブックマークで確認・編集ができます
- 記事を読んだ感想やメモを書き残せます
- 非公開でブックマークすることもできます
エントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
24 usersがブックマーク
2
2
Google による robots.txt の指定の解釈 | Google 検索セントラル | ドキュメント | Google for Developers
24 users
developers.google.com
developers.google.com
記事へのコメント2件
- 注目コメント
- 新着コメント
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
いまの話題をアプリでチェック！
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
Google による robots.txt の指定の解釈 | Google 検索セントラル | ドキュメント | Google for Developers
フィードバックを送信 コレクションでコンテンツを整理 必要に応じて、コンテンツの保存と分類を行いま... フィードバックを送信 コレクションでコンテンツを整理 必要に応じて、コンテンツの保存と分類を行います。 Google による robots.txt の指定の解釈 Google の自動クローラーは Robots Exclusion Protocol（REP）をサポートしています。つまり、Google のクローラーは、クロールする前に対象サイトの robots.txt をダウンロードして解析し、そのサイトのどの部分をクロールできるかについての情報を抽出します。この REP は、ユーザーが管理するクローラー（フィードの購読など）や、ユーザーの安全性を高めるためのクローラー（マルウェア解析など）には適用されません。 このページでは、Google による REP の解釈について説明します。元の標準については、RFC 9309 をご覧ください。 robots.txt ファイルとは サイトのセクションが
ブックマークしたユーザー
すべてのユーザーの
詳細を表示します
詳細を表示します
developers.google.com
developers.google.com
developers.google.com
developers.google.com
note.com/kirik
www.cnn.co.jp
ameblo.jp/kyupin
anond.hatelabo.jp
blog.google
xtech.nikkei.com
qiita.com/Sicut_study
techlife.cookpad.com
github.com/zhengkyl
github.blog
voidzero.dev
www.ipa.go.jp
www.musicvoice.jp
2021/09/03 リンク