エントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
記事へのコメント2件
- 注目コメント
- 新着コメント
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
サイト内の「Robots.txt」の動作確認ができるサイト「Robots.txt Checker」*二十歳街道まっしぐら(FC2ブログ時代)
「Robots.txt Checker」はサイトの「Robots.txt」を確認できるサイトです。 「Robots.txt」は検索エンジ... 「Robots.txt Checker」はサイトの「Robots.txt」を確認できるサイトです。 「Robots.txt」は検索エンジンやらにサイトをクロールさせるかどうかを制御できるファイルです。 詳細はrobots.txt とは?をご覧下さい。 Robots.txtを設置したときの確認などに利用してみましょう。 以下に使ってみた様子を載せておきます。 まず「Robots.txt Checker」にアクセスします。 「Check URL」にチェックしたいサイトのURLを入れます。 「サイトURL+robots.txt」が自動抽出されます。 他のディレクトリにRobots.txtを設置している場合はそれを指定すればOK。 結果です。 正常に取得できました。 特に検索エンジンをはじいていないのでこのような結果に。 サイトによっては、このように検索エンジンによってクロールを禁止しているところ
2010/04/21 リンク