大手サイトのrobots.txtでわかる「検索でヒットされたくないページ」の特徴
robots.txtとは robots.txtは、検索エンジンのクローラー（bot）に、クロールされたいページや、クロールされたくないページを教えるテキストファイルのことです。多くの検索エンジンのクローラーは、そのドメインの最上位ディレクトリに設置されたrobotst.txtを最初に読み込んで、クロールするべきページとクロールするべきでないページを取得し、それに基づいて巡回します。ただ、一部のクローラーには、このrobots.txtを無視するものもあります。 robots.txtの書き方はおよそ以下の通りです。 User-agent:（ここにbotのユーザーエージェントを記述。ワイルドカード指定も可能） Crawl-Delay:（クロールの時間間隔を指定） Disallow:（クロールされたくないページやディレクトリを指定） Allow:（Disallowで指定されたディレクトリの小階層で
2012年、はてなブックマークで話題を集めた“ヒット商品”は？ 6つのアイテムを選んでみた - はてなニュース
便利なガジェット、ユニークなお菓子など、2012年もさまざまなヒット商品が誕生しました。はてなブックマークニュース編集部では、そんな中から“はてなブックマークで特に話題を集めた商品”をピックアップ。意外なユーザー層が夢中になった“あのゲーム”、見た目のインパクトで注目を集めた“あの傘”など、厳選した6つの商品を紹介します。 ■ 小物をバンドで固定して整理！ 「バッグ イン ボード」 ▽ ニトリへ走れ！iPad収納付きのガジェットまとめ板がたったの799円で販売中！ | WONDER LIFE | WONDER LIFE ▽ http://ugolog.net/gadget/1062 ▽ http://www.nitori-net.jp/shop/goods/goods.aspx?goods=8731269 ▽ パソコンバッグGRID-IT！の販売商品一覧｜通販ならサンワダイレクト さまざま
Hatena Bookmark :: Firefox Add-ons
はてなブックマークを Firefox でより便利に使える、はてなオフィシャルの拡張です 日本最大規模のソーシャルブックマーク、はてなブックマーク ( http://b.hatena.ne.jp/ ) を Firefox でより便利に使える、はてなオフィシャルの拡張です。 はてなブックマーク Firefox 拡張では、以下の機能をご利用いただけます。 - 見ているページの評判(ブックマーク数)を、ツールバー上に表示 - コメントビューワーで、閲覧ページのはてなブックマークコメントを閲覧 - 素早くはてなブックマークに閲覧ページを追加 - 自分のブックマークからの高速な検索 - Google の検索結果等、対応ページのリンクにブックマークのユーザー数を表示 (ツールバーのはてなブックマークボタンを右クリックして「オプション」から各機能をご利用になられるか設定できます。) 詳しい機能紹介について
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
