大手サイトのrobots.txtでわかる「検索でヒットされたくないページ」の特徴
robots.txtとは robots.txtは、検索エンジンのクローラー（bot）に、クロールされたいページや、クロールされたくないページを教えるテキストファイルのことです。多くの検索エンジンのクローラーは、そのドメインの最上位ディレクトリに設置されたrobotst.txtを最初に読み込んで、クロールするべきページとクロールするべきでないページを取得し、それに基づいて巡回します。ただ、一部のクローラーには、このrobots.txtを無視するものもあります。 robots.txtの書き方はおよそ以下の通りです。 User-agent:（ここにbotのユーザーエージェントを記述。ワイルドカード指定も可能） Crawl-Delay:（クロールの時間間隔を指定） Disallow:（クロールされたくないページやディレクトリを指定） Allow:（Disallowで指定されたディレクトリの小階層で
検索エンジンが提供しているウェブマスター向けツール - 『検索エンジン最適化の初心者ガイド』改訂版#8-2 | Moz - SEOとインバウンドマーケティングの実践情報
サインアップGoogleウェブマスターツール サインアップ 設定地域ターゲット：サイトが特定の地域のユーザーを対象としている場合、ウェブマスターはグーグルに対し、特定の地域を対象とした検索結果にそのサイトをどのように表示させるかを決める手助けとなる情報を提供し、地域性を加味したクエリに対してグーグルの検索結果を向上させることができる（参考情報）。 使用するドメイン：使用するドメインとは、サイトのページをインデックスに登録するときに、優先的に使ってほしいとウェブマスターが希望するドメイン名のことだ。たとえば、あるウェブマスターが、使用するドメイン名として「http://www.example.com」を指定しており、グーグルが検出したサイトのリンクが「http://example.com」となっていた場合、グーグルはそのリンクが「http://www.example.com」を指しているもの
SEOが無意味になる。infoseekが示唆する未来 | 企業ホームページ運営の心得
コンテンツは現場にあふれている。会議室で話し合うより職人を呼べ。営業マンと話をさせろ。Web 2.0だ、CGMだ、Ajaxだと騒いでいるのは「インターネット業界」だけ。中小企業の「商売用」ホームページにはそれ以前にもっともっと大切なものがある。企業ホームページの最初の一歩がわからずにボタンを掛け違えているWeb担当者に心得を授ける実践現場主義コラム。 宮脇 睦（有限会社アズモード） 新年あけましておめでとうございます。今年もお付き合いいただければ幸いです。 「ブログがSEOになる」と、昨夏より社長命令でブログを書かされている旧友に会いました。同じ話をとある不動産会社でも耳にしました。「書き方」を工夫することでSEOになることもありますが、やみくもに書いてもSEO効果は乏しく、そしてほぼ100％「書き方」をレクチャーせずに「ホームページ制作業者」はブログシステムを高値で販売しています。街角で
訪問者に応じて各国向けコンテンツを表示したい場合にSEOで留意すべきこと | Moz - SEOとインバウンドマーケティングの実践情報
ここのブログでスコットから「グローバル・アソシエイト」として温かく紹介してもらって以来、僕らDistilledのメンバーは、PRO会員向けのQ&Aコーナーを手伝う形でSEOmozの仕事に協力してきた。読者の多くもご存じの通り、SEOの専門家にコンサルティング形式で質問ができるというのは、PRO会員の大きな利点の1つだね（別にSEOmozからお金をもらって言ってるわけじゃないよ！）。SEOmozのやり方を内部から眺め、時には個人的な問題を解決するのも目にしているから、このPRO会員制度って本当に役に立つことが多いって実感してるんだ。 その話はさておき、そろそろ今回の話題に移ろう。 意外なことでもないだろうけど、英国人である僕は、サイトの国際化問題（internationalisation）を山ほど担当してきた（米国式にinternationali「z」ationって書いた方が国際的かな？ こ
Google検索アプライアンスを1年余り利用して見えてきたこと
私が担当しているITproのページの一つに，検索ページがある。以前紹介したことがあるが，ITproではサイト内検索エンジンの一つとしてGoogle検索アプライアンス（以下，GSA）を利用している。各ページの右上の検索窓から検索した場合や，詳細検索ページからの検索が，それに当たる。私が検索ページの担当になって1年余りたち，これまで，そしてこの2008年7月のリニューアルに向けていくつか改善を行ってきた。その作業の中で，GSAの良い点や悪い点，工夫が必要な点が見えてきた。 検索の高速性が最大の魅力 最初に，GSAの良い点から挙げておこう。私が感じたのは，大きく三つ。(1)検索が高速，(2)簡単な設定でとりあえず導入できる，(3)検索対象の設定の自由度が高い---である。 その中で最大の魅力と思っているのが，(1)の「検索が高速」であることだ。これまで，何らかの障害が発生したとき以外は，検索キー
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
TechCrunch | Startup and Technology News
http://japan.internet.com/busnews/20090113/8.html
