初心者にも分かる！robots.txtの作り方
robots.txtとは？robots.txtとは、GoogleやYahoo!などといった、自サイトの情報を取得(クロール)するプログラム(クローラー)を制御するためのテキストファイルです。例えば、特定のファイルや、ディレクトリをクロール禁止に指定することで、それらの関連ページや画像などを検索エンジンにインデックスさせないようにする、などといったことができます。 何を覚えればいい？robots.txtの設置方法は簡単です。よほど特殊な事情がない限り、「ここにアクセスしないでね」という記述方法だけを覚えておけば十分です。細かく書いたからといって、SEO上、有利、不利になるようなことはないので安心して下さい。強いて言うなら、細かく書き過ぎて間違った制御をした場合に不利になります。
すべてのページに"meta description"を入れる必要はあるのか、Googleが回答│SEOトレンド情報
SEOをOEMする専門企業 フリープラス > SEOトレンド情報 > “Meta description”の重複が起きるなら、入れないほうがマシ 今日の Google Webmaster Help の動画のテーマは”Meta description”です。 質問は「全てのページに Meta description を入れる必要はあるのかい？」です。 重複させるくらいなら・・・ この動画の中で、 Googleのスパムチームの Matt Cutts 氏はこう言っております。 「Meta descriptionが各ページ個別化していることはもちろんいいし、なんならMeta descriptionが重複しているよりもMeta descriptionが入っていないほうがマシだ。事実、僕（Matt Cutts 氏）のブログもMeta description入ってないしね。」 さて、それでは
FAQ: All About The New Google "Hummingbird" Algorithm
Google has a new search algorithm, the system it uses to sort through all the information it has when you search and come back with answers. It’s called “Hummingbird” and below, what we know about it so far. What’s a “search algorithm?” That’s a technical term for what you can think of as a recipe that Google uses to sort through the billions of web pages and other information it has, in order to
SEOに最適なサイト構造と内部リンクの全て - SEO Japan｜アイオイクスのSEO・CV改善・Webサイト集客情報ブログ
無料で資料をダウンロード SEOサービスのご案内 専門のコンサルタントが貴社サイトのご要望・課題整理から施策の立案を行い、検索エンジンからの流入数向上を支援いたします。 無料ダウンロードする ＞＞ 検索エンジンからのトラフィックを増やすためにはサイトに内部リンクを適切に設置することも重要。頭では分かっていても外部リンク頼みのSEOに偏りがちだった日本のSEO業界、Google先生の有料リンク取締り強化で内部リンクの重要性が改めて注目されつつある最近かもしれません。そんなあなたに今回、サーチエンジンランドからSEOに最適なサイト構造と内部リンク設置に関する記事が配信されていたのでここに紹介します。 — SEO Japan ウェブサイトの構造と内部リンクは、SEO業界で意見が最も食い違う分野である。SEO業者同士の意見が食い違うだけでなく、それぞれ目標が異なるため、デザイナー、ユーザビリティの
Getting Started - Making AJAX Applications Crawlable - Google Code
Getting Started This document outlines the steps that are necessary in order to make your AJAX application crawlable. Once you have fully understood each of these steps, it should not take you very long to actually make your application crawlable! However, you do need to understand each of the steps involved, so we recommend reading this guide in its entirety. Overview of Solution Briefly, the sol
Perl、PHPでGooglebotを一定の確率ではじく
Perl、PHPでGooglebotを一定の確率ではじく 2007-05-01-2 [Programming] 「動的生成ページへのGooglebot(Googleのクローラ)のアクセス数 が多すぎてサーバに負荷がかかりすぎる問題」に悩まされています。 robots.txt の Crawl-delay は効かないし[2007-03-21-1]、 Googleウェブマスターツールでクロール率を低く設定しても ある回数よりも下がらないしで困っていました。 アクセス禁止にすれば完全解決なのですが、 それにより検索されなくなるのはファインダビリティが下がって嫌なので、 とりあえずランダムで 503 を返すことで対処しました。 ときどき503が出ることにより、しばらくするとGooglebotが 「サーバが混んでいるんだな」と思ってくれるみたいで、 結果としてクローラのアクセス数が激減、かつ、検索結果
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
robots.txtとは？設置する理由・SEO効果・書き方を解説