大手サイトのrobots.txtでわかる「検索でヒットされたくないページ」の特徴
robots.txtとは robots.txtは、検索エンジンのクローラー（bot）に、クロールされたいページや、クロールされたくないページを教えるテキストファイルのことです。多くの検索エンジンのクローラーは、そのドメインの最上位ディレクトリに設置されたrobotst.txtを最初に読み込んで、クロールするべきページとクロールするべきでないページを取得し、それに基づいて巡回します。ただ、一部のクローラーには、このrobots.txtを無視するものもあります。 robots.txtの書き方はおよそ以下の通りです。 User-agent:（ここにbotのユーザーエージェントを記述。ワイルドカード指定も可能） Crawl-Delay:（クロールの時間間隔を指定） Disallow:（クロールされたくないページやディレクトリを指定） Allow:（Disallowで指定されたディレクトリの小階層で
はてなブックマーク、TwitterやFacebook上の友人の注目記事を確認可能に
はてなは2月24日、ソーシャルブックマークサービス「はてなブックマーク」について、これまでクローズドベータ版として提供してきた新ユーザーページをオープンベータ版に移行した。これにより、TwitterやFacebook上の友人同士で注目記事が分かる「マイホットエントリー」機能を誰でも利用できるようになった。 はてなでは、2011年11月より新ユーザーページのクローズドベータ版サービスを展開してきた。このサービスで利用出来るマイホットエントリー機能は、Twitterでフォローしている人やFacebookの友達らが話題にしているニュースや記事の情報を確認できるようになる。マイホットエントリーは、新ユーザーページで閲覧できるほか、1日1回配信されるメールでも確認できる。 リリースに際してはてなでは、「ソーシャルメディアが普及する中、自分のソーシャルグラフで話題になっているページがわかるマイホットエ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
