大手サイトのrobots.txtでわかる「検索でヒットされたくないページ」の特徴
robots.txtとは robots.txtは、検索エンジンのクローラー（bot）に、クロールされたいページや、クロールされたくないページを教えるテキストファイルのことです。多くの検索エンジンのクローラーは、そのドメインの最上位ディレクトリに設置されたrobotst.txtを最初に読み込んで、クロールするべきページとクロールするべきでないページを取得し、それに基づいて巡回します。ただ、一部のクローラーには、このrobots.txtを無視するものもあります。 robots.txtの書き方はおよそ以下の通りです。 User-agent:（ここにbotのユーザーエージェントを記述。ワイルドカード指定も可能） Crawl-Delay:（クロールの時間間隔を指定） Disallow:（クロールされたくないページやディレクトリを指定） Allow:（Disallowで指定されたディレクトリの小階層で
Google検索を支える「Googlebot」がAJAX・JavaScriptのクリックに対応、現実のユーザーっぽい挙動が可能に
By Mechanekton Googlebot(グーグルボット)とは、Googleのウェブクロール用ロボットのことで、Googleの検索用インデックスに新しいページや更新されたページを次々とダウンロードして回収していくための一連のプログラムとプロセスのことで、Googlebotによってインターネット上の数十億のページを取得（クロール）するため、クローラとも呼ばれています。 しかし所詮はプログラムなので、例えばAJAXやJavaScriptを駆使しまくっているとなかなかうまくクロールしてくれず、AJAXなどもクロールできはするものの、人間が実際にクリックするのとは挙動が違うため、Google自身も「AJAX クロール: ウェブマスターおよびデベロッパー向けガイド」というのを出しており、その中でAJAXをより効果的にGooglebotにクロールさせるためのスキームを推奨せざるを得ないほどでし
クローラーとは／検索エンジンの仕組みをおさらい。クローラー対策とステータスコード | エンジニアのためのSEO入門
クローラー：HTTPプロトコルでコンテンツを取得する あなたの運営しているサーバーを含めた世界中のWebサーバーと通信し、そのサーバー内のコンテンツを取得していきます。通信手段はHTTP/HTTPSプロトコルなので、HTTP/HTTPSで取得できるものは、なんでも持っていきます（テキストファイル、CSSファイル、JavaScriptファイル、画像、Flash、PDFなど）。 インデクサ：取得したコンテンツを解析し保存する 取得したコンテンツの内容を解析します。ここで取得したコンテンツのキーワードやテーマを分析して読み取り、分析結果とそのファイル自体をデータベースに保存（インデックス）します。 クエリサーバー：ユーザからの検索クエリ（キーワード）の結果ページを返す ユーザの検索キーワードに基づき、保存してあった解析結果を検索結果ページとして作成し、表示します。SEOの結果が反映される部分にな
検索エンジンが提供しているウェブマスター向けツール - 『検索エンジン最適化の初心者ガイド』改訂版#8-2 | Moz - SEOとインバウンドマーケティングの実践情報
サインアップGoogleウェブマスターツール サインアップ 設定地域ターゲット：サイトが特定の地域のユーザーを対象としている場合、ウェブマスターはグーグルに対し、特定の地域を対象とした検索結果にそのサイトをどのように表示させるかを決める手助けとなる情報を提供し、地域性を加味したクエリに対してグーグルの検索結果を向上させることができる（参考情報）。 使用するドメイン：使用するドメインとは、サイトのページをインデックスに登録するときに、優先的に使ってほしいとウェブマスターが希望するドメイン名のことだ。たとえば、あるウェブマスターが、使用するドメイン名として「http://www.example.com」を指定しており、グーグルが検出したサイトのリンクが「http://example.com」となっていた場合、グーグルはそのリンクが「http://www.example.com」を指しているもの
XMLサイトマップを検索エンジンに送信するとクロールがどう変わるのかテストしてみた | Web担当者Forum
人間誰でもそうだけど、いいものも悪いものも含めて、僕にはいろんな癖がある。この間、あるクライアントのWebサイトに取り組んでいるとき、いつものようにXMLサイトマップを作って検索エンジンに送信したんだけど、そのときに考え始めたんだ。XMLサイトマップって本当にサイトの役に立っているんだろうかってね。XMLサイトマップを検索エンジンに登録すると、どんな効果があるんだろうか。 そこで、そこそこ人気のあるブログを運営していて、WordPressとGoogle XML Sitemaps Generator for WordPressというプラグインを使っているクライアントに頼んでみたんだ。僕が作ったトラッキング用のスクリプトをサイトにインストールして、検索ロボットの動きを追跡させてくれないかってね。Google XML Sitemaps Generatorがどんなものか知らない人のために説明すると
訪問者に応じて各国向けコンテンツを表示したい場合にSEOで留意すべきこと | Moz - SEOとインバウンドマーケティングの実践情報
ここのブログでスコットから「グローバル・アソシエイト」として温かく紹介してもらって以来、僕らDistilledのメンバーは、PRO会員向けのQ&Aコーナーを手伝う形でSEOmozの仕事に協力してきた。読者の多くもご存じの通り、SEOの専門家にコンサルティング形式で質問ができるというのは、PRO会員の大きな利点の1つだね（別にSEOmozからお金をもらって言ってるわけじゃないよ！）。SEOmozのやり方を内部から眺め、時には個人的な問題を解決するのも目にしているから、このPRO会員制度って本当に役に立つことが多いって実感してるんだ。 その話はさておき、そろそろ今回の話題に移ろう。 意外なことでもないだろうけど、英国人である僕は、サイトの国際化問題（internationalisation）を山ほど担当してきた（米国式にinternationali「z」ationって書いた方が国際的かな？ こ
SEO重要要因ランキング（Google＋Yahoo! JAPAN総合版）―日米SEOプロ60人が評価した重要度 | SEOで効く! 検索エンジンが順位を決定する57個の要因 日米SEOプロ60人のグーグル&ヤフー対応版
この特集で挙げた57の要因に関して、GoogleとYahoo! JAPANの利用率を考慮して総合的に算出した重要度のランキングを示す。 プラス要因トップ20（Google＋Yahoo! JAPAN総合）titleタグ内でのキーワード使用被リンクのアンカーテキストサイト全体でのリンクポピュラリティYahoo!ディレクトリへの登録本文でのキーワード使用サイト内部構造としてのリンクポピュラリティサイト開設からの経過時間リンク元サイトのサイト全体でのリンクポピュラリティ被リンクの話題関連性話題コミュニティ内でのリンクポピュラリティリンク元ページとの話題の関連性被リンク増加率本文のコンテンツとキーワードの（トピック分析による）関連性サイトの主要テーマと検索の関連性h1タグ内でのキーワードの使用インデックス可能なテキストコンテンツの量外部サイト／ページへのリンクの質や関連性文書公開からの経過時間リンク
SEO重要要因ランキング（Yahoo! JAPAN版）―日米SEOプロ60人が評価した重要度 | Web担当者Forum
この特集で挙げた57の要因に関して、Yahoo! JAPANに限定して集計した重要度のランキングを示す。 プラス要因トップ20（Yahoo! JAPAN）titleタグ内でのキーワード使用被リンクのアンカーテキストサイト全体でのリンクポピュラリティ本文でのキーワード使用Yahoo!ディレクトリへの登録サイト内部構造としてのリンクポピュラリティリンク元サイトのサイト全体でのリンクポピュラリティサイト開設からの経過時間被リンクの話題関連性サイトの主要テーマと検索の関連性リンク元ページとの話題の関連性被リンク増加率本文のコンテンツとキーワードの（トピック分析による）関連性インデックス可能なテキストコンテンツの量h1タグ内でのキーワードの使用話題コミュニティ内でのリンクポピュラリティリンク元サイトとの話題の関連性リンク設置からの経過時間文書公開からの経過時間リンク周辺のテキストマイナス要因トップ5
Google検索アプライアンスを1年余り利用して見えてきたこと
私が担当しているITproのページの一つに，検索ページがある。以前紹介したことがあるが，ITproではサイト内検索エンジンの一つとしてGoogle検索アプライアンス（以下，GSA）を利用している。各ページの右上の検索窓から検索した場合や，詳細検索ページからの検索が，それに当たる。私が検索ページの担当になって1年余りたち，これまで，そしてこの2008年7月のリニューアルに向けていくつか改善を行ってきた。その作業の中で，GSAの良い点や悪い点，工夫が必要な点が見えてきた。 検索の高速性が最大の魅力 最初に，GSAの良い点から挙げておこう。私が感じたのは，大きく三つ。(1)検索が高速，(2)簡単な設定でとりあえず導入できる，(3)検索対象の設定の自由度が高い---である。 その中で最大の魅力と思っているのが，(1)の「検索が高速」であることだ。これまで，何らかの障害が発生したとき以外は，検索キー
検索サイトの舞台裏--グーグル幹部が明かす改善手法
サンフランシスコ発--Googleは、こと検索クオリティに関しては複数の顔を持っているようだ。 Googleは、ABスプリットと呼ばれる手法を使って、同社のメイン検索ウェブサイト（簡素な検索ボックスと検索結果の両方について）どのような変更を加えるべきか検討している。Googleの検索プロダクトおよびユーザーエクスペリエンス担当バイスプレジデントであるMarissa Mayer氏は米国時間5月29日、サンフランシスコで開催されているGoogle I/Oカンファレンスで講演した。その中で同氏は、上記の手法について、Googleはユーザーに対し、デザインの異なる複数のページを表示し、その反応を測っていると説明した。 Mayer氏によると、例えばGoogleは、ユーザーに対して表示する検索結果を何件にすべきかを探りたかったという。通常は、10件か20件、25件か30件といったところだろう。この点に
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
TechCrunch | Startup and Technology News
クローラビリティを100点に仕上げてURLを検索エンジンに正しく伝える | Web担当者Forum
米Yahoo!、「自分のサーチエンジンが作れる」検索APIを公開