ロボット排除 - CyberLibrarian
ロボットまたはクローラー(Crawler)と呼ばれるプログラムは、Webページに記述されているリンクを辿ってサイトを巡回し、自動的にサイト上の文書や画像などを収集、インデキシングしています。Webサーバの管理者やWebサイトの運営者は、自分たちが管理・運営するWebページをWeb検索エンジンに登録されたくない場合などに、ロボットを排除する設定を行うことができます。 現時点では、ロボット排除(Robot Exclusion)に関する公的な標準規格はありません。W3Cが発行しているHTMLの仕様書にはロボット制御の方法に関する記述はありますが、詳細な仕様とはなっていません。robotstxt.orgというサイトで示されている定義がデファクト・スタンダード(事実上の標準)になっており、世界中のほとんどのロボットがこの定義に従って行動しています。 robots.txt ロボットがサイトを訪問すると
Twitter、リアルタイム検索をLuceneで構築。50倍高速に！
Twitterのリアルタイム検索機能が、オープンソースのLuceneベースになったと、Twitter Engineeringブログへのエントリ「Twitter's New Search Architecture」で紹介されています。 これまでTwitterはリアルタイム検索にMySQLベースの独自システムを利用してきましたが、規模の拡大が難しくなってきたため、6カ月前に新システムの構築を決定。オープンソースの検索エンジンであるLuceneを選択したとのことです。 従来の50倍も高速に！ 検索エンジンに対する要件は以下のように非常に厳しいものでした。 Our demands on the new system are immense: With over 1,000 TPS (Tweets/sec) and 12,000 QPS (queries/sec) = over 1 billion
レンタルサーバー完全ガイド | 共用・専用・VPSホスティングを比較検索
インプレスR&Dが運営。激安・格安サーバーから高機能サービスまで国内サーバーホスティング1600件以上からレンタルサーバーを比較・検索お詫びと訂正 8月30日発売『レンタルサーバー完全ガイドVol.14』の「レンタルサーバーニュース Pick Up」において掲載内容に誤りがございましたのでお知らせいたします。 32ページ下段左「サイバートラスト、年次分割購入可能な有効期限3年のサーバー証明書を発売」におきまして、証明書の名称を「SuperServer3年割」としておりますが、正しくは「SureServer3年割」です。ご迷惑をおかけした読者の皆様ならびに関係各位には深くお詫び申し上げます。 >> 続きを読む
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Internet Archive
検索エンジンが順位を決定する要因ランキング2009年版が完成！ | Moz - SEOとインバウンドマーケティングの実践情報
