GooglebotのIPアドレス一覧をGoogleが公開
[レベル: 上級] Googlebot の IP アドレス一覧を Google は公開しました。 JSON ファイルで提供 これまで、Googlebot の IP アドレスを Google は公開していませんでした。 「Verifying Googlebot and other Google crawlers（クローラが Googlebot などの Google クローラであることを確認する）」の技術ドキュメントには、これまでは次のように書かれていました。 Google doesn’t provide software libraries that can identify its crawlers. You can use an open source library to verify Googlebot. Google では、クローラを識別できるソフトウェア ライブラリを提供していま
Google検索に悪影響を与えることなく米国からのアクセスだけをブロックできるか？
[レベル: 上級] Google 検索に悪い影響を与えることなく、特定の国からのユーザーのアクセスだけを拒否あるいは許可することはできません。 米国ユーザーを拒否、Googlebot を許可 ⇒ クローキング 基本的に、Googlebot は米国の IP アドレスからアクセスしてきます。 （※米国外の IP アドレスもクロールに使用する「地域分散クロール」があるが使われるのは稀） 米国からのユーザーをブロックしたとすると、Googlebot のアクセスもブロックしたことになります。 したがって、Googlebot はそのサイトをクロールできません。 つまり、検索結果に表示されることはないでしょう。 米国からのユーザーをブロックする一方で Googlebot のアクセスだけは許可した場合、これはクローキングのガイドライン違反になります。 ユーザーと Googlebot に同じ URL で異な
Google検索のレンダリングとは？――Google Webmaster Conferenceのライトニングトークより #GWCPS
[レベル: 中級] この記事では、昨日に続いて Google Webmaster Conference Mountain View でのライトニングトークをレポートします。 セッションテーマはレンダリングです。 Rendering: レンダリング レンダリングによって、ユーザーが見ているものと同じものを Googlebot が見ることができる。 [左: レンダリング前、右: レンダリング後] レンダリングは基本的には、ブラウザのように振る舞う必要がある。 複雑でコンピューティングの多くの処理を必要とする。 Chrome の機能で Googlebot はレンダリングする。 課題 レンダリングには次の 2 つの要素が必要。 Fetch（フェッチ）でコンテンツやリソースを取得 JavaScript の実行 Googlebot がフェッチし、Chrome が（JS の実行などで）レンダリングする。
HTMLのクロールとJavaScriptの実行は別プロセス、JSコンテンツのインデックスには時間がかかることも
[レベル: 中級] 現在のGooglebotはJavaScriptを解釈し実行できます。 そしてJavaScriptによって生成されたコンテンツをクロールしインデックスします。 しかしJavaScriptの処理はHTMLのクロールとは別プロセスで行われます。 より時間が必要なため、少しでも速くインデックスさせたいコンテンツには多用しないほうがよさそうです。 2か月程前になりますが、GoogleのJohn Mueller（ジョン・ミューラー）氏がウェブマスター向けオフィスアワーでJavaScriptの処理について説明していました。 JavaScriptは、HTMLのクロールの次のサイクルとしてある意味処理される。 HTMLのコンテンツは非常に素速くクロールするが、JavaScriptを実行してそれによってできあがるコンテンツをクロールするのは別のサイクルで、より時間がかかることがある。 確実
JavaScriptによるnoindex挿入をGoogleは推奨せず、JSレンダリングはセカンドウェーブのインデックス
[レベル: 上級] noindex タグを JavaScript によってクライアントサイドで挿入することが可能です。 Googlebot はきちんとレンダリングし処理できます。 しかしながらこの方法は、処理に時間がかかることがあるため推奨されません。 JS による noindex 挿入を推奨しない JavaScript によってクライアントサイドでレンダリングさせた rel="canonical" タグを Google は無視するということでした。 サーバーが返す HTML に rel="canonical" が存在している必要があります（実際には、クライアントサイドでレンダリングした rel=”canonical” も認識されるらしいことが検証からわかっている）。 一方で、rel="canonical"（と rel="amphtml"）以外の要素、たとえば noindex robots
Google クローラー概要（ユーザー エージェント一覧）| Google 検索セントラル | ドキュメント | Google for Developers
フィードバックを送信 コレクションでコンテンツを整理 必要に応じて、コンテンツの保存と分類を行います。 Google クローラーとフェッチャーの概要（ユーザー エージェント） Google はクローラーとフェッチャーを使用して、自動的にまたはユーザー リクエストに基づき、サービスのアクションを実行します。 「クローラー」（「ロボット」や「スパイダー」と呼ばれることもあります）は、ウェブページ間のリンクをたどることによってウェブサイトを自動的に検出し、スキャンするプログラムの総称です。Google 検索に使用される Google のメインのクローラーは、Googlebot と呼ばれます。 フェッチャーは、ブラウザと同様に、ユーザーからの指示に基づいて単一の URL をリクエストするツールです。 下記の表は、さまざまなプロダクトやサービスで使用されている Google のクローラーとフェッチャ
スマホサイト検索最適化の注意事項：通常Googlebotをスマホ版サイトでリダイレクトしてはならない ::SEM R (#SEMR)
スマホサイト検索最適化の注意事項：通常Googlebotをスマホ版サイトでリダイレクトしてはならない スマホサイト構築最適化において、デスクトップ版、スマホ版双方をUser-Agentで振り分けする場合の注意事項。Googleは、default-Googlebot（通常Googlebot）はすべてのバージョンにアクセスできることを前提としているので、スマホ版サイトで通常Googlebotを振り分けるのは推奨されていない。 公開日時：2012年07月02日 07:22 デスクトップ版サイトとスマートフォン版サイトを運用しており、後者を検索エンジンにも適切に掲載させたい、いわゆるスマートフォンの検索最適化を行う場合において、現時点（2012年7月1日時点）においてGoogle公式ヘルプには明記されていない、重要な注意事項について1つ紹介しよう。 デスクトップ版サイトとスマートフォン版サイトのコ
ウェブサイトのメンテナンス時やサービス停止時にやるべきこと・やってはいけないこと
[対象: 中〜上級] サイトのメンテナンスなどの理由で一時的にサービスを停止しユーザーのアクセスを遮断したいときがあります。 このケースでやるべきこととやっていはいけないことを、GoogleのPierre Far(ピエール・ファー)氏がGoogle+で説明しました。 米連邦政府議会で提案されているある法案に対して抗議する人たちへの援助の目的も背景にあるようですが、関わりのない僕たちにとっても非常に有益な内容なので紹介します。 以下で説明することは、「メンテナンス中」のような通知ページを元々のページと置き換えて訪問者に見せる状況にも当てはまります。 1. サイトの一部であってもサイト全体であっても、停止するURLはすべて503のHTTPステータスコードを返す。 次の2つの点において役に立つ。 通知ページが本当のコンテンツではないことをGoogleに伝えインデックスされない。 すべてのページで
グーグルがスマートフォンUAのクローラを発表 - SEO＆SEM 五足の靴
12月15日～16日に米グーグル並びにグーグル日本法人から、スマートフォンのユーザエージェント(以下UA)を持つクローラーが発表されました。 Introducing smartphone Googlebot-Mobile（英語版） スマートフォン版 Googlebot-Mobile の導入について（日本語版） 昨年・今年から同様のクローラーを試験的に巡回させていましたが、正式な発表となりました。今回はクローラーに対する弊社の考察とクローラーUAの識別方法をまとめます。 今回の発表内容は次の通り。 「現時点における」スマートフォンとフィーチャフォンのクローラUA フィーチャーフォン(いわゆる日本国産のガラケー端末)専用サイトと、 スマートフォン専用サイトとのUA振り分けに関して、 Googlebot-Mobileの判定方法を見直すこと 検索エンジンに詳しい担当者であれば「専用クローラとくれば
米Google、スマートフォンサイト専用のクローラを発表 Googlebot-Mobile ::SEM R (#SEMR)
米Google、スマートフォンサイト専用のクローラを発表 Googlebot-Mobile グーグル、スマートフォンサイトのクローリングを目的とした新しいgooglebotクローラ発表。 公開日時：2011年12月16日 00:39 米Googleは2011年12月15日、スマートフォンサイトのコンテンツをクローリング（巡回）することを目的としたスマートフォン版Googlebot-Mobileクローラを発表した。スマートフォンユーザーの増加とともに急増するスマートフォン向けにデザインされたサイトコンテンツに対応する狙い。 Feature phones Googlebot-Mobile: SAMSUNG-SGH-E250/1.0 Profile/MIDP-2.0 Configuration/CLDC-1.1 UP.Browser/6.2.3.3.c.1.101 (GUI) MMP/2.0 (
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
An Update On Javascript Menus And SEO