初心者にも分かる！robots.txtの作り方

robots.txtとは？robots.txtとは、GoogleやYahoo!などといった、自サイトの情報を取得(クロール)するプログラム(クローラー)を制御するためのテキストファイルです。例えば、特定のファイルや、ディレクトリをクロール禁止に指定することで、それらの関連ページや画像などを検索エンジンにインデックスさせないようにする、などといったことができます。 何を覚えればいい？robots.txtの設置方法は簡単です。よほど特殊な事情がない限り、「ここにアクセスしないでね」という記述方法だけを覚えておけば十分です。細かく書いたからといって、SEO上、有利、不利になるようなことはないので安心して下さい。強いて言うなら、細かく書き過ぎて間違った制御をした場合に不利になります。

[tokumita]

検索エンジンなどのクローラーのクロールを制御するためのrobots.txtの説明

[kaborin]

“Sitemap: http://example.com/sitemap.xml”

[wingsgate]

初心者にも分かる！robots.txtの作り方 検索エンジンなどのクロールを制御するためのrobots.txtの基本的な使い方について、初心者向けに説明します。 robots. Tags: from Pocket September 24, 2015 at 11:06AM

[younari]

参考にする

[yhys07]

今まで何となくだったから助かります

[shunutsu2-2-24]

この間、わかんなくて焦った。これわかりやすくていいね。

[y-kawaz]

最近はサイトの作り方からして見せたく無いものには認証かけるだけでそれ以外は基本全部持ってってくれた方が良いって感じなので、そもそもrobots.txtの存在意義自体は薄れてきたなと思ってる。まとめ自体は良い。

[bell_chime_ring238]

丁寧！

[kikuchi1201]

新しい

[yoshi-na]

細かい、親切、わかりやすい

[helloazabu]

いい