ロボット排除 - CyberLibrarian
ロボットまたはクローラー(Crawler)と呼ばれるプログラムは、Webページに記述されているリンクを辿ってサイトを巡回し、自動的にサイト上の文書や画像などを収集、インデキシングしています。Webサーバの管理者やWebサイトの運営者は、自分たちが管理・運営するWebページをWeb検索エンジンに登録されたくない場合などに、ロボットを排除する設定を行うことができます。 現時点では、ロボット排除(Robot Exclusion)に関する公的な標準規格はありません。W3Cが発行しているHTMLの仕様書にはロボット制御の方法に関する記述はありますが、詳細な仕様とはなっていません。robotstxt.orgというサイトで示されている定義がデファクト・スタンダード(事実上の標準)になっており、世界中のほとんどのロボットがこの定義に従って行動しています。 robots.txt ロボットがサイトを訪問すると
torpen'sClips: 携帯、スマフォ、PCで閲覧するページを振り分ける方法いろいろ
＜ＵｓｅｒＡｇｅｎｔで振り分け PHPの場合＞ ■ PHPで判別 » HTML for iPhone ■ iPhoneなどスマートフォン・iPad・携帯・パソコンの自動振分けPHP ＜ＵｓｅｒＡｇｅｎｔで振り分け .htaccessの場合＞ ■ スマートフォンとPCサイトの.htaccessのキャリア判別 | リングプロジェクト | 千葉県でスマートフォンサイト・ホームページ・ウェブデザインを制作しています ＜ＵｓｅｒＡｇｅｎｔで振り分け JavaScriptの場合＞ ■ ASCII.jp：JavaScriptで振り分けてスマホサイト完成！｜実践！iPhone＆Androidサイト制作ガイド ■ javascriptで判別 » HTML for iPhone <端末ＩＰによる振り分け ＰＨＰ＞ ■ http://blog.asial.co.jp/290 <端末ＩＰによる振り分け.htac
メンテナンス中画面を出す正しい作法と.htaccessの書き方 | Web担当者Forum
今回は、Webサイトやサービスをメンテナンス中にする場合に、どのURLにアクセスしても「メインテナンス中です」の画面を出す正しいやり方を、人間にも検索エンジンにも適切にする作法を主眼に解説します。 この週末の土曜深夜～日曜早朝にかけて、データセンターの設備メインテナンスのため、Web担を含むインプレスグループのほとんどのWebサイトが、どのURLにアクセスしても「メンテ中です」という表示になっていました。 なのですが、その実装がちょっと気になったので、「正しいメンテナンス画面の出し方」を説明してみます。 ※2010-01-16 Retry-Afterを指定するHeaderの指定を修正しました（コメント参照） ※2009-06-17 RewriteCondから [NC] 条件を削除しました（コメント参照） ※2009-06-16 Retry-Afterの記述をGMTに変更しました（コメント参
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
