初心者にも分かる！robots.txtの作り方
robots.txtとは？robots.txtとは、GoogleやYahoo!などといった、自サイトの情報を取得(クロール)するプログラム(クローラー)を制御するためのテキストファイルです。例えば、特定のファイルや、ディレクトリをクロール禁止に指定することで、それらの関連ページや画像などを検索エンジンにインデックスさせないようにする、などといったことができます。 何を覚えればいい？robots.txtの設置方法は簡単です。よほど特殊な事情がない限り、「ここにアクセスしないでね」という記述方法だけを覚えておけば十分です。細かく書いたからといって、SEO上、有利、不利になるようなことはないので安心して下さい。強いて言うなら、細かく書き過ぎて間違った制御をした場合に不利になります。
高木浩光＠自宅の日記 - 国会図書館の施策で全国の公共機関のWebサイトが消滅する 岡崎図書館事件(5)
■ 国会図書館の施策で全国の公共機関のWebサイトが消滅する 岡崎図書館事件(5) 平成22年4月1日施行の改正国立国会図書館法に基づき、国立国会図書館が、国・地方公共団体等の公共機関を対象に、インターネット上で公開されている資料のWebクローラによる収集を開始したという。その説明資料によると、クローラのアクセス間隔の基準は「1秒以上」だという。中野区立図書館の場合、/robots.txt が置かれておらず、セッションタイムアウトは実測で600秒*1であることから、1秒間隔でクローラが来ると*2、散発的につながらない状態がしばしば発生すると思われる。 目次 /robots.txtで自ら姿を隠す公共図書館 国立国会図書館法第25条の3第2項に違反 国会図書館が公共機関のWebサイトを消滅させる虞れ /robots.txtで自ら姿を隠す公共図書館 中野区立図書館や岡崎市立中央図書館は、三菱電機
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
エクスコムグローバル株式会社｜XCom Global, Inc.
seo-matome.jp
