タグ

検索エンジンに関するdrunkmottyのブックマーク (3)

  • 『robots.txt 作成から設置まで(まとめ)』

    ロボット排除プロトコル(以下REP)は、検索エンジンロボットのクロールやインデックスをコントロール可能な標準的仕様のことです。例えば「REPタグ(meta要素)」や「XMLサイトマップ」などがあります。 今回は、サイトレベルでクローラーに対して指示することが可能な「robots.txt」についてお話いたします。 WEBサイト運営を行っていて、いくつかのページは検索エンジンの検索対象外にしたいという場合があるかと思います。例えば、類似したコンテンツやPDF、/cgi/以下のページなどが考えられます。そのような時は、robots.txtを設置することによってクローラーをブロックすることが可能です。 robots.txtの記述ルール robots.txtは、テキストエディタで作成できます。中には以下2つを記述する必要があります。 User-Agent: 以降のルールを適用するロボット Disal

    『robots.txt 作成から設置まで(まとめ)』
  • Googleパーソナライズ検索を無効にする方法を教えてください。 αSEO

    Googleは2009年12月より、Cookie(クッキー)を利用した、検索履歴に基づく検索結果のパーソナライゼーションを行っています。SEOを意識している人は、主要なキーワードで検索順位の確認をする機会が度々あると思いますが、検索を利用するほど自然と検索結果がカスタマイズされてしまい、通常の(中立的な)検索順位を表示できなくなることがあります。 パーソナライズされない、通常の検索結果を表示する方法は2つあります。 1つは、(Cookieを使った)Googleパーソナライズ検索を無効にすることです。次に紹介するページにアクセスして、「検索内容に基づくカスタマイズを無効にします。」をクリックすると、以後、同ブラウザ上でのCookieによるパーソナライゼーションは行われなくなります。 パーソナライズ検索からオプトアウトする http://www.google.co.jp/history/opt

    Googleパーソナライズ検索を無効にする方法を教えてください。 αSEO
  • 意外に知らない、robots meta タグの7つの正しい使い方

    [レベル:初級] 今日は、検索エンジンのロボットの動きを制御する「robots meta タグ」の記述の仕方について説明します。 robots meta タグにはいくつか種類がありますが、一般的によく使われる、noindex・nofollow・noarchiveの3つのrobots meta タグに関しては以前に詳しく説明しています。 十分に理解していないと思えば、併せて読んでください。 ちなみに日Yahoo!では、noydir の robots meta タグはサポートが終了しています。 なお原則的にGooglebotを対象にした話なので、他の検索エンジンのロボットでは違う動きをするかもしれません。 1. 複数の属性値はまとめられる 属性値が複数あるときは、ひとまとめにできます。 <meta name="robots" content="noindex" /> <meta name=

    意外に知らない、robots meta タグの7つの正しい使い方
  • 1