大手サイトのrobots.txtでわかる「検索でヒットされたくないページ」の特徴
robots.txtとは robots.txtは、検索エンジンのクローラー（bot）に、クロールされたいページや、クロールされたくないページを教えるテキストファイルのことです。多くの検索エンジンのクローラーは、そのドメインの最上位ディレクトリに設置されたrobotst.txtを最初に読み込んで、クロールするべきページとクロールするべきでないページを取得し、それに基づいて巡回します。ただ、一部のクローラーには、このrobots.txtを無視するものもあります。 robots.txtの書き方はおよそ以下の通りです。 User-agent:（ここにbotのユーザーエージェントを記述。ワイルドカード指定も可能） Crawl-Delay:（クロールの時間間隔を指定） Disallow:（クロールされたくないページやディレクトリを指定） Allow:（Disallowで指定されたディレクトリの小階層で
あなたの検索エンジンの検索結果はひどく偏っている!? 情報の偏りを引き起こす「フィルターバブル」から脱出せよ | ライフハッカー・ジャパン
ウェブ上でどんな議論が行なわれているのかを追うのが大変だと感じたことはありませんか？ Chrome拡張機能の「Rbutr」は、様々なウェブサイトで行なわれているディベートを収集し、どんな話し合いやディベートなどがオンライン上で行なわれているのかを「より広い視野で」教えてくれるChrome拡張機能です。この拡張機能の目的とはフィルターバブルと呼ばれる状態から離脱するということ。 この拡張機能の使い方は簡単です（現在のところChrome用のみ。FirefoxやIE用は近々リリース予定だそうです）。あるウェブサイトを訪問した際にその内容に対する反対意見がある場合、「この意見には反対意見がありますよ」と知らせてくれます。ボタンをクリックすればこれらの反対意見を読むことができます。 では、なぜわざわざ反対意見に目を通す必要があるのでしょうか？ Rbutrの目的は、フィルターバブルと呼ばれるシステムか
Chromeの検索機能をカスタマイズしてより便利に | ライフハッカー・ジャパン
読者諸兄姉にとっては、もはや説明不要とは思いますが念の為。Firefoxのスマートキーワード機能、Chromeでもできますよ。 ご存知のように、Chromeはデフォルト検索エンジンをGoogle以外にしたり、その都度使いたい検索エンジンを選択することが可能です。特に［Tab］キーを使った検索エンジンの切り替え機能は、Omnibox（オムニボックス：アドレスバーと検索バーを統合した「多機能ワンボックス」の通称）からその検索サイトをすぐに利用できるので、覚えておくと結構便利です。一度設定してしまえば、検索したいサイトを訪れることなく、アドレスバーに設定したキーワードに続いて［Tab］キーを押すか空白（スペース）を入力した後、検索語句を入力すればいいわけですから。この直接検索、皆さんは活用していますか？ 常識的なことながら意外と知らない、知っていても「使っていない」方のために「新しい検索エンジン
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
経済、株価、ビジネス、政治のニュース:日経電子版
あなたのブログにライブサーチを設置してくれる『Sikbox』 | 100SHIKI